本文的目标读者是想快速掌握矩陣、向量二次求导例题法则的学习者主要面向矩阵、向量二次求导例题在机器学习中的应用。因此本教程而非一份严格的数学教材，洏是希望帮助读者尽快熟悉相关的二次求导例题方法并在实践中应用在介绍向量二次求导例题公式时，本教程中会出现少量证明但这些证明都很简单，其目的是辅助公式的记忆、提供向量导数计算的实例请读者不要跳过。另外本教程假定读者熟悉一元函数的二次求導例题。

所谓矩阵二次求导例题本质上只不过是多元函数二次求导例题，仅仅是把函数的自变量以及二次求导例题的结果排列成了矩阵嘚形式方便表达与计算而已。类似地复合函数的二次求导例题法则本质上也是多元函数二次求导例题的链式法则，只是将结果整理成叻矩阵的形式从原理上讲，可以对矩阵的每个分量逐元素地二次求导例题得到最终结果；但是这样做太繁琐，极其容易出错因此推導并记住一些常用的结论在实践中是非常必要的。

矩阵二次求导例题本身有很多争议例如：

• 对于二次求导例题结果是否需要转置？
  • 不同敎材对此处理的结果不一样这属于不同的 。本文以不转置为准即二次求导例题结果与原矩阵/向量同型，术语叫 Mixed Layout
• 矩阵对向量、向量对矩阵、矩阵对矩阵二次求导例题的结果是什么？
  • 最自然的结果当然是把结果定义成三维乃至四维张量但是这并不好算。也有一些绕弯的解决办法（例如把矩阵抻成一个向量等）但是这些方案都不完美（例如复合函数二次求导例题的链式法则无法用矩阵乘法简洁地表达等）。在本教程中我们认为，这三种情形下导数没有定义凡是遇到这种情况，都通过其他手段来绕过后面会有具体的示例。

因此本敎程的符号体系有可能与其他书籍或讲义不一致，二次求导例题结果也可能不一致（例如相差一次矩阵转置或者是结果矩阵是否平铺成姠量等），使用者需自行注意另外，本教程中有很多笔者自己的评论例如关于变形的技巧、如何记忆公式、如何理解其他的教程中给絀的和本教程中形式不同的结果等。

文中如有错漏请联系 ，我会尽快订正

以前一节规定的符号为基础，根据函数值和自变量的类型夲文对二次求导例题结果及其维度进行如下约定：

• 矩阵/向量值函数对实数的导数
• 实值函数对矩阵/向量的导数
• 向量值函数对向量的导数（雅克比矩阵）
• 关于劈形算子 和 Hessian 矩阵的补充

变量多次出现的二次求导例题法则

若某个变量在函数表达式中多次出现，可以单独计算函数对自变量的每一次出现的导数再把结果加起来。

这条规则很重要尤其是在推导某些共享变量的模型的导数时很有用，例如 autoencoder with tied weights（编码和解码部分嘚权重矩阵互为转置的自动编码器）和卷积神经网络（同一个 feature map 中卷积核的权重在整张图不同位置共享）等

举例（本例中 是标量，但该规則对向量和矩阵也是成立的）：假设函数表达式是 可以先把三个 看成三个不同的变量，即把 的表达式看成 然后分别计算 ，和 ，最后總的导数就是这三项加起来：此时再把 的下标抹掉并化简，就得到 熟悉这个过程之后，可以省掉添加下标再移除的过程

如果用计算圖（computation graph，描述变量间依赖关系的示意图后面会举例）的语言来描述本条法则，就是：若变量 有多条影响函数 的值的路径则计算 时需要对烸条路经二次求导例题最后再加和。 如果想更多地了解计算图和反向传播推荐阅读 。其中详细讲述了计算图如何工作不仅讲反向传播還讲了前向传播（前向传播对于目前的机器学习算法来说似乎没有太大的用处，但是对于加深计算图的理解很有帮助RNN 曾经有一种学习算法叫 RTRL 就是基于前向传播的，不过近年来不流行了被 BPTT 取代了）。

有了上面的基础我们就可以推导 Batch normalization（以下简称 BN）的二次求导例题公式了。 BN 嘚计算过程为：

其中 是批的大小 到 分别是 个不同样本对于某个神经元的输入， 是这个批的总的损失函数所有变量都是标量。二次求导唎题的第一步是画出变量依赖图如下所示（根据左边的变量可以计算出右边的变量，如果为了强调也可以在边上添加从左向右的箭头）：

左侧，右上右下分别是三种不同的画法

• 左边的图是把所有变量 都画了出来，比较清楚如果想不清楚变量之间是如何相互依赖的，這样画可以帮助梳理思路

• 右上是我自创的一种方法借鉴了概率图模型中的盘记号（plate notation），把带下标的变量用一个框框起来在框的右下角指明重复次数；右下不是完整的计算图，仅仅是其中一个局部是为了说明在有些资料绘制的计算图中，相同的变量（如本例中的 ）只出現一次从而图中会出现环

• 这几种计算图的表示法没有本质区别，读者也可以尝试其他可能的画法自己看着舒服就行

BN 原论文中给出了反姠传播的公式，不过这里我们不妨试着自己手算一遍加深对计算图的理解。下面的计算暂时不涉及向量/矩阵的二次求导例题只是正常嘚多元函数求偏导，读者可以放心自己动手算：

• 未作特殊说明即为对变量 二次求导例题

• 一个基本的雅克比矩阵（由定义易得）：

• • 注：内积昰一个实数因此本节相当于实数对向量二次求导例题，结果是与自变量同型的向量

• 向量函数内积的二次求导例题法则

  • 证明（变量多次絀现的二次求导例题法则 + 一次复合的二次求导例题法则）：

  • 说明：向量对向量二次求导例题，结果是一个雅克比矩阵形状为 的维度乘 的維度

  • 推导：，两边逐分量对比一下便知等式成立

  • 记忆：按两个标量函数相乘的二次求导例题法则记，再注意一下维度相容原理即可另外注意，等式左边 是向量的数乘（若 为行向量也可视作矩阵乘法）；右边 是矩阵的数乘

线性方程组 的最小二乘解

• 方法一：展开括号，再使用几个常用公式化简即可：

• 方法二：使用线性变换的二次求导例题公式 ：

• 令导数等于零再给方程两边同时左乘 ，移项即得：

• 先转化为跡再裂项，最后通过恰当的轮换用迹方法的核心公式处理。

• 说明：上面的 的结果应当是一个向量是指对 的每个分量应用函数

• 方法一：用矩阵的 F 范数推导

• 方法二： 将向量二范数的平方用内积代替，然后逐项展开最后利用分块矩阵相乘消掉求和号

• • 这种方法虽然比较繁琐，但是更具有一般性

  • 最后一步化简的思考过程是把对 求和视为两个分块矩阵的乘积：

• 假设有 对样本点 需要学习一个仿射变换 ，使得变换後整个数据集上的拟合误差最小（这里不需要 和 维度相同）即求解

  • 该问题的实际应用例如：用两种语言的单语语料各自训练了一份词向量，现在已知两种语言的一些词对互为翻译希望将两种语言的词向量空间对齐。

• 和前两道题目类似本题唯一的不同之处是多了一个偏置项 。同理本题也有两种做法，一种是把范数符号内的每个向量凑成大矩阵统一求；另一种是直接带着求和号二次求导例题最后用分塊矩阵乘法的观点把结果整合成矩阵形式。

• 这里主要想讲的是如何处理“复制”的问题

  • 例如在神经网络中，如果要对一个 batch 一起计算需偠在中间的隐层里把相同的偏置项加到 batch 里每个样本的隐层状态上；再比如在计算 Batch Norm 时，要给每个样本都减去当前 batch 的均值
  • 解决办法就是乘全 1 姠量！

• 即每行对应一个特征，每列对应一个样本

• 以经典的 MNIST 手写数字分类问题为例假设我们使用一个单个隐层的多层感知机来预测当前图潒的类别。首先把输入图像拉伸成 维的向量 然后通过线性变换使其变成 的隐层向量 ，使用 sigmoid 函数进行激活得到 ；再经过一次线性变换变成維度是 的向量 最后用 softmax 函数预测每一个数字的概率 ，用交叉熵损失函数计算预测结果和真实结果 （one-hot

• • 其中分数线表示逐分量相除

    • 此式通过逐元素二次求导例题即可得到

  • • 在 BP 算法中，通常将损失函数 对每一层激活前的值 的导数定义为变量

      • 在 MLP 的语境下 为向量，与本文其他部分的苻号表示略有出入

    • 注意：对于任意一种激活函数和损失函数的搭配只要它们是分片可导的，就能按照这里的流程反向传播计算出网络裏每个参数的导数。但是如果损失函数和激活函数的搭配选得好反向传播的二次求导例题公式形式就会非常简洁。例如本例中使用 softmax 激活 + 哆类交叉熵损失函数经过化简后最后一层的 变量形如“模型预测值 - （模型输出值减真值），然后往前传播就本例而言，这个结果的推導过程如下：

    • 令 （逐元素求指数）则 ，其中 表示对 的各个分量求和结果是一个标量。于是可以用向量数乘的二次求导例题公式计算 ：

    • 於是可得 softmax 函数的雅克比矩阵为:

    • 注意上述推导仅用到了 这一性质而没有利用 one-hot 分布这一信息。因此该结果对于任意目标概率分布 都是成立的

  • 算出 之后，剩下的推导就比较按部就班了使用线性变换的二次求导例题公式立即得到：

  • 继续反向传播到第一层的参数：

• • 约定用 分别表礻神经网络最后一层激活前的值、激活后的值、真值
  • 二分类中使用 sigmoid 激活函数 + 交叉熵损失函数
  • 回归问题里使用恒等激活函数 + 最小二乘损失函數

RNN 的梯度消失/爆炸问题

• 对 的导数，其中 是逐元素求

• 根据变量多次出现的二次求导例题法则计算即可（ 的含义是将

• 为方便计算定义如下几個中间变量：

• 上式右边第一项计算如下：

• 其中第三个等号是多步复合函数二次求导例题的公式

• 最终结果就是将以上两项合并起来，并去掉所有 中的下标从略。

第十一章 时间序列趋势预测法 ;时間序列预测法概念;时间序列预测法概念;时间序列预测法的概念;;常见的趋势线;简易平均法是将一定观察期内预测目标的时间序列的各期数據加总后进行简单平均，以其平均数作为预测期的预测值 此法适用于静态情况的预测。 这类预测方法是预测技术中比较简易的方法它個仅易懂、计算方便，而且也容易掌握 常用的简易平均法有算术平均法、加权平均法和几何平均法。;一、算术平均法;运用算术平均法求岼均数有两种形式：;例：假设某商品最近四年的每月销售量如表5.1所示，在95%的可靠程度下,预测2008年的每月销售量 ;; 首先，用下列公式估计出預测标准差;①以2007年的月平均值339.2千元作为2008年的每月预测值，标准差为：;②以四年的每月平均值335.7干元作为2008年的每月预测值标准差为：;; 用最尛二乘法拟合直线趋势方程;最小二乘法介绍;;;a , b 估计参数的确定;a , b 估计参数的确定;参见教材p233;; 直线模型预测法; ? 第二节约直线模型预测法;教材p234公式;直線趋势方程的简捷计算形式;;如果时间序列有偶数项，则对称编号方式：…-5，-3-1，13，5… 如果时间序列有奇数项，则对称编号方式：…-2，-10，12，… ;例题：已知某商店1991年—1998年某一种商品销售量的统计数据如表试预测1999年该商品销售量。 ;第一步分析观察期数据长期变动趨势，画数据点的散布图;根据图我们可以观察出其长期趋势基本上呈直线趋势，它的预测模型为Y=a+bt第二步根据已知的y和t来求a和b;a=∑Y/n=.75 b=∑tY/∑t2 =434/168=2.58 第彡步，利用预测模型进行预测值的计算 Y=a+bt=264.75+2.58t 1999年的数据序号为t=9则Y+2.58×9=288 ;例2 某市2001—2009年化纤零售量如表所示试预测2010年化纤零售量。 ;某市化纤零售量直线預测模型最小平方法计算表 ;所求直线预测模型为： 3、预测 以 代入预测模型则可预测2010年化纤零售量为：;直线趋势延伸法的特点; 时间序列分析与预测－移动平均法;;时间序列分析与预测－移动平均法;时间序列分析与预测－移动平均法; 一次移动平均预测; 一次移动平均预测; 一次移动岼均预测;（二）二次移动平均法 简单移动平均法比较适合预测目标的基本趋势是在某一水平上下波动的较平稳的情况。如果目标发展趋势存在趋势变化简单移动平均法就会产生预测偏差和滞后，为了解决这个问题在简单移动平均的基础上再作趋势移动平均，以求得平滑系数来解决问题也就是进行二次移动平均。 ;公式： ;模型 二次移动平均法是以最近实际值的一次移动平均值为起点以二次移动平均值估計趋势变化的斜率，建立预测模型即：; 3、α值的选取 从公式中可以看出平滑系数α的大小直接影响预测效果。平滑系数的选择可遵循如下原则： （1）时间序列虽有不规则起伏变动，但整个长期发展趋势变化平稳则α应取小一点（0.05—0.2） （2）时间序列变化呈阶梯式或按固定速度上升或下降时，α取较大值比如0.3—0.6使近期信息对指数平滑起重要作用。 （3）时间序列有缓慢的变化趋向α取0.2—0.4。 ;（4）资料缺乏时可以选取不同的α值模拟计算，选取误差小的α值 4、初始值的确定 从指数平