零空间的基和秩-零化度定理

零空间及零空间的基

一个齐次线性系统$A\cdot x=0$A⋅x=0的解就是对应的系数矩阵的零空间。

首先通过一个简单的齐次线性方程组进行演示，
$\begin{pmatrix}-1&2&3\\1&-4&-13\\-3&5&4\end{pmatrix}\Longrightarrow\begin{pmatrix}1&0&7\\0&1&5\\0&0&0\end{pmatrix}\cdot \begin{pmatrix}x_1\\x_2\\x_3\end{pmatrix}=\begin{pmatrix}0\\0\\0\end{pmatrix}\Longrightarrow\begin{pmatrix}-7x_3\\-5x_3\\x_3\end{pmatrix}=\begin{pmatrix}-7\\-5\\1\end{pmatrix}x_3$⎝⎛​−11−3​2−45​3−134​⎠⎞​⟹⎝⎛​100​010​750​⎠⎞​⋅⎝⎛​x1​x2​x3​​⎠⎞​=⎝⎛​000​⎠⎞​⟹⎝⎛​−7x3​−5x3​x3​​⎠⎞​=⎝⎛​−7−51​⎠⎞​x3​
该线性系统的零空间维度为1，向量 (-7, -5, 1)是该空间的一组基。

实际问题中会遇上更多的复杂情况，如下面这个复杂矩阵，

进一步的将解向量进行提取，得到下面的四个向量，

这实际上就是这四个向量的生成空间，同时也是这个复杂的线性系统的解，同样也是该线性系统系数矩阵的零空间的一组基，该零空间的维度是四维。

秩-零化度定理

回顾最开始通过Gauss-Jordan消元法得到的矩阵的行最简形式，

可以总结如下，一个$m×n$m×n的矩阵，将其化为行最简形式，其主元列的个数为列空间的维度；如果已知主元列的数目就可以得到自由列的数目，自由列列数就是零空间的维度。列空间维度+零空间维度=$n$n。

对于一个矩阵而言，行秩=列秩，统称为矩阵的秩(rank)。零空间的维度称为零化度(nullity)，故可以得到秩-零化度定理：秩+零化度=$n$n。

列空间与零空间对比

对于一个$m×n$m×n的矩阵，

列空间	零空间
$Ax=v$Ax=v($v$v任取)	$Ax=0$Ax=0
列空间是$m$m维空间的子空间	零空间是$n$n维空间的子空间
列空间的维度是行最简形式中主元列的数目	零空间的维度是行最简形式中自由列的数目
主元列对应原矩阵的列，是列空间的一组基	求取零空间的基需要求解齐次线性系统

零空间与矩阵的逆

当行最简形式不存在自由列时，零空间的维度为0。此时矩阵是满秩的。因为矩阵满秩的等价命题是矩阵存在逆矩阵，所以在矩阵可逆的命题中又多了一条等价命题。

深入理解零空间

1. $A$A的零空间就是$Ax=0$Ax=0中，所有$x$x组成的空间
2. 零空间是一个集合，这个集合中的所有向量与$A$A的行向量的点乘结果为0
3. 这个集合中所有的向量与$A$A的行空间中所有的向量垂直(正交)

左零空间

回顾已有的三个子空间

第四个子空间

矩阵的列空间与之对应的是矩阵的零空间。理论上也会存在一个与矩阵的行空间对应的空间，可以使用 $Null(A^T)$Null(AT)进行表示，称为左零空间。

线性系统 $A^Tx = 0$ATx=0的解所对应的空间就是矩阵A的左零空间。之所以称为左零空间，源自于对该空间线性系统表达式的推导，

研究子空间的意义

子空间的维度比原空间的维度低，尤其是面对维度很高的数据时，不仅难分析而且计算量极大。如果可以降维，可以简化问题的研究。

在实际的研究中，很多情况下都会遇到 $Ax=b$Ax=b，这样的线性系统，若$A$A的行数大于列数（可以理解为样本数目大于特征数目），即方程数大于未知数个数。此时线性系统是无解的，因此很难学习到有用的知识。在$A$A的列空间中寻找一个离$b$b最近的$b'$b′。转而求解 $Ax=b'$Ax=b′。