机器学习深入与强化--数学基础(3)

矩阵分析与应用

从行视图来看，方程有解就是在坐标系中直线相交，平面相交

从列试图来看，方程的解就是这些列向量的线性组合。

四个基本的子空间：

为什么叫子空间，“子”从何而来？

因为[0 3 3]、[1 4 2]均是3维的向量，而二者线性组合只能得到一个2维的平面，所以就叫“子”空间。

假设现在存在一个向量x，与这个2维平面不共面，此时这三个向量就可以将R3这个空间填满，此时Ax=b，b任意取，都可以在这个空间中找到解。

这里矩阵A的列空间是2维的。

零空间N(A)为Ax=0的所有的解的集合构成的空间。

为什么叫做左零空间呢？

上文提到，Ax=0的解为零空间。

将 A转置y=0 这个等式左右两边转置，得到--> y转置A=0，相比于Ax=0，x跑到了左边，所以叫做左零空间。

最重要的是这四个基本的子空间之间的关系：

由图可以看出，左零空间即为与A的列的子空间相垂直的那些向量构成的集合。列空间与左零空间共同填满了Rm的空间，可以认为左零空间就是列空间的法向量。

再看行空间和零空间，由Ax=0可知，行空间与x的解相互垂直，即与零空间垂直。

只有唯一解：由列空间的坐标图可以得出，b向量必然在列空间之中，与此同时，零空间必然等于零，只有这样A矩阵才是满秩，没有冗余的列。

有无穷解：A矩阵存在冗余列，此时零空间维数必然大于0。

综上，Ax=b有解的话，解的形式为特解+零空间的解，即上文中的p+v，此时Ax=A(p+v)=Ap+Av=b+0。

特征值分解

对称矩阵，如果所有的特征值不同，不仅可以对角化，而且矩阵U是正交的，而且对称矩阵即使特征值相同，也可以正交对角化。黄色圈里面的就是通常的普分解，很有用，后面会提到。

两边同时乘以正交矩阵，不改变秩。

所以如下图，对角矩阵的秩=A矩阵的秩（对角矩阵就是A的特征值，非零的特征值的个数就是A的秩）

特征值>0，矩阵为正定矩阵。

二次型这个概念定义了矩阵的正负。

PCA降维讲解：

上式首先对序列进行了0均值化，方便处理。

Cx可知，对角元素即为每一行的方差，非对角元素为两行的协方差。

我们总是希望，对角元方差很大，非对角元协方差很小，说明行与行之间关系最小。

而Cx是对称矩阵，又由之前可知，对称矩阵可以对角化。

实际如何操作呢？