格式：PDF ? 页数：29页 ? 上传日期： 19:24:11 ? 浏览次数：5 ? ? 1500积分 ? ? 用稻壳阅读器打开
全文阅读已结束如果下载本文需要使用
本篇博文来自学习稀牛学院AI数学課程中的学习笔记
给定一组房价数据$x^{(i)},y^{(i)}$,其中x可以是标量scala,也可以是向量比如可以为房屋面积，还可以包含房屋年龄地段等信息，y为房屋价格我们需要找出x和y之间的关系，也就是一个模型将来给定输入的一个未知数据，我们可以预测房价模型可以先以线性回归模型$y= \omega x + b$作为預设的模型，我们的任务就是要根据已知的数据来求解对应的$\omega和b$模型参数
房价预测问题，我们可以抽象为以下无约束优化问题：
既不是最大也不是最小的驻点---鞍点
实际优化中绝大部分都是局部极值的优化问题!
如果函数自变量為为标量其一阶导数我们很熟悉$f'(x)$.例如$(x^2)'=2$
如果函数的自变量为标量，其二阶导数我们会非常熟悉$f"(x)$例如$(x^2)"=2$
相应地，如果函数的自变量为向量這时其二阶导数就称为海森矩阵
海森矩阵是一个$(n,n)$的对称矩阵
被称为二次型。比如$x_1^2+x_2^2+x_3^2+2x_1x_3$ 这种所有项都是二次齐次形式的式子被称为二次型
一般來说，只要提到二次型其对应的矩阵A就是对称矩阵。
给定一个对称矩阵$A\in R^{nxn}$(因为正定往往用于矩阵伴随的二次型正负的判定，因此我们只研究对称矩阵的正定性)如果对于所有$x\in R^n$,都有其二次型$X^TAX \geq 0$则称矩阵$A$为半正定矩阵；此时，其特征值都是非负数即$\lambda(A) \geq 0$.
如果对于所有非0 的x，其二次型都是正数这时我们称矩阵为正定矩阵
由于海森矩阵是对称矩阵，因此海森矩阵就可以研究其正定和负定特性了
当海森矩阵为正定时，其二次型就是正数其特征值就是大于0
对于向量$a,x$，对称矩阵$A$,有以下的梯度计算公式:
梯度等于0是在$x_k$处取嘚极值的必要条件要研究其是极大还是极小值，我们需要继续研究二阶项如果$f''(x_k) > 0$则取得极小值，相反如果$f''(x_k) < 0$则在$x_k$处取得极大值
针对输入為向量的情况是类似的：
梯度$g(x_k) = 0$求得的$x_k$是候选驻点，要研究极大极小甚至鞍点需要看二次项也就是二次型$\delta ^TH(x_k)\delta$的正负性，这可以由$f(x)$的二阶导数海森矩阵的正定负定来判断:
当$H(x_k) \succ 0$正定时$x_k$这一点为局部极小点(反之则为局部最大点)。如果$H(x_k)$是一个不定矩阵则是一个鞍点。
从上面的式子可以看出要最大化 $X^TAX$必须使得X满足$AX = \lambda X$,将已知条件再带进去，就得到:
也就是说要最大化矩阵A的二次型就等价於找到矩阵A的最大特征值！！！
目标：通过数学变换，将原始的高维空间转变为一个低维空间；
投影面积计算规则解释: $W = [W_1,W_2,...,W_{d'}]$, 为$d'$个d维向量$Z_n = W^TX_n$, 也就昰说数据样本从高维向低维空间中变换后的向量就等于转换矩阵乘以高维空间原始样本向量。
特别地如果我们先只看一维的话，就是$W_1^TX_n$就昰二者的内积！！而内积又和投影面积计算规则有关我们接下来继续看PCA到底在做什么：
从上图可以看到，所谓PCA就是指样本协方差矩阵（方阵）按照特征值大小排序（因为要使得投影面积计算规则后数据方差最大化等价于二次型最大化等价于寻找最大特征值！）分别找到楿应特征值对应的特征对象。
我们知道在PCA特征***中是对样本数据的协方差矩阵做的，而更一般性地对于非方阵，我们就要研究奇异徝***了
奇异值***SVD是特征***的广义化，因为特征***是对方阵来说的而SVD奇异值***则对任何矩阵都成立
本篇博文来自学习稀牛学院AI数学課程中的学习笔记
给定一组房价数据$x^{(i)},y^{(i)}$,其中x可以是标量scala,也可以是向量比如可以为房屋面积，还可以包含房屋年龄地段等信息，y为房屋价格我们需要找出x和y之间的关系，也就是一个模型将来给定输入的一个未知数据，我们可以预测房价模型可以先以线性回归模型$y= \omega x + b$作为預设的模型，我们的任务就是要根据已知的数据来求解对应的$\omega和b$模型参数
房价预测问题，我们可以抽象为以下无约束优化问题：
既不是最大也不是最小的驻点---鞍点
实际优化中绝大部分都是局部极值的优化问题!
如果函数自变量為为标量其一阶导数我们很熟悉$f'(x)$.例如$(x^2)'=2$
如果函数的自变量为标量，其二阶导数我们会非常熟悉$f"(x)$例如$(x^2)"=2$
相应地，如果函数的自变量为向量這时其二阶导数就称为海森矩阵
海森矩阵是一个$(n,n)$的对称矩阵
被称为二次型。比如$x_1^2+x_2^2+x_3^2+2x_1x_3$ 这种所有项都是二次齐次形式的式子被称为二次型
一般來说，只要提到二次型其对应的矩阵A就是对称矩阵。
给定一个对称矩阵$A\in R^{nxn}$(因为正定往往用于矩阵伴随的二次型正负的判定，因此我们只研究对称矩阵的正定性)如果对于所有$x\in R^n$,都有其二次型$X^TAX \geq 0$则称矩阵$A$为半正定矩阵；此时，其特征值都是非负数即$\lambda(A) \geq 0$.
如果对于所有非0 的x，其二次型都是正数这时我们称矩阵为正定矩阵
由于海森矩阵是对称矩阵，因此海森矩阵就可以研究其正定和负定特性了
当海森矩阵为正定时，其二次型就是正数其特征值就是大于0
对于向量$a,x$，对称矩阵$A$,有以下的梯度计算公式:
梯度等于0是在$x_k$处取嘚极值的必要条件要研究其是极大还是极小值，我们需要继续研究二阶项如果$f''(x_k) > 0$则取得极小值，相反如果$f''(x_k) < 0$则在$x_k$处取得极大值
针对输入為向量的情况是类似的：
梯度$g(x_k) = 0$求得的$x_k$是候选驻点，要研究极大极小甚至鞍点需要看二次项也就是二次型$\delta ^TH(x_k)\delta$的正负性，这可以由$f(x)$的二阶导数海森矩阵的正定负定来判断:
当$H(x_k) \succ 0$正定时$x_k$这一点为局部极小点(反之则为局部最大点)。如果$H(x_k)$是一个不定矩阵则是一个鞍点。
从上面的式子可以看出要最大化 $X^TAX$必须使得X满足$AX = \lambda X$,将已知条件再带进去，就得到:
也就是说要最大化矩阵A的二次型就等价於找到矩阵A的最大特征值！！！
目标：通过数学变换，将原始的高维空间转变为一个低维空间；
投影面积计算规则解释: $W = [W_1,W_2,...,W_{d'}]$, 为$d'$个d维向量$Z_n = W^TX_n$, 也就昰说数据样本从高维向低维空间中变换后的向量就等于转换矩阵乘以高维空间原始样本向量。
特别地如果我们先只看一维的话，就是$W_1^TX_n$就昰二者的内积！！而内积又和投影面积计算规则有关我们接下来继续看PCA到底在做什么：
从上图可以看到，所谓PCA就是指样本协方差矩阵（方阵）按照特征值大小排序（因为要使得投影面积计算规则后数据方差最大化等价于二次型最大化等价于寻找最大特征值！）分别找到楿应特征值对应的特征对象。
我们知道在PCA特征***中是对样本数据的协方差矩阵做的，而更一般性地对于非方阵，我们就要研究奇异徝***了
奇异值***SVD是特征***的广义化，因为特征***是对方阵来说的而SVD奇异值***则对任何矩阵都成立