Lecture9 线性无关，生成空间，基和维数

1. 线性相关性

• 背景
  当矩阵A列数大于行数时，很有可能有无穷多个非零解，因为存在自由变量。
• 线性相关性
  设有向量$v_1,v_2,... \ ... \ ,v_n$v1​,v2​,... ... ,vn​，在什么情况下$v_1,v_2,... \ ... \ ,v_n$v1​,v2​,... ... ,vn​线性无关？
  1. 定义
  若不存在$v_1,v_2,... \ ... \ ,v_n$v1​,v2​,... ... ,vn​的非零线性组合，其结果为零向量，称$v_1,v_2,... \ ... \ ,v_n$v1​,v2​,... ... ,vn​线性无关。
  反之称为向量组线性相关。
  含零向量的向量组一定线性相关。
  如果将所有向量（列向量）合并成矩阵$A$A：
  若$A$A的零空间内有非零向量，$A$A的列向量线性相关，$r=n$r=n。
  若$A$A的零空间内只有零向量，$A$A的列向量线性无关，$r&lt;n$r<n。

2.生成空间(Spanning a space)，基(Basis)，维数（Dimension）

• 生成空间
  $v_1,v_2,... \ ... \ ,v_l$v1​,v2​,... ... ,vl​的生成空间包含了$v_1,v_2,... \ ... \ ,v_l$v1​,v2​,... ... ,vl​的所有线性组合。
  也就可以看作，这个空间是由这些向量生成（span）的。
• 基
  一个向量空间的基可以看做是具有如下两个性质的一组向量：
  （1）这些向量线性无关。
  （2）它们生成了整个空间。
  在$R_n$Rn​中的一组基构成的矩阵是不可逆的(invertible)。
  向量空间的基不是唯一的。
• 维数
  给定一个向量空间，其基中向量的数量是固定的，称为这个向量空间的维数（Dimension）。
  Rank of A = # of pivot = Dimension of C(A)

3.零空间维数的讨论

通过以上我们得知了列空间的维数为$r$r，代表的是所有列向量中的最大线性无关的个数。
零空间研究的是$A$A的线性相关的问题。
Dimension of N(A) = # of free variables = n - r

---

Lecture10 四个基本子空间

1.四个基本子空间介绍

四个基本子空间的概念是线性代数的核心，假设$A_{m\times n}$Am×n​，它的四个子空间为

1. 列空间$C(A)$C(A)
   是$R_m$Rm​的子空间。
2. 零空间$N(A)$N(A)
   是$R_n$Rn​的子空间
3. 行空间$C(A^T)$C(AT)
   $A$A的行向量生成的空间，若仍采用列向量表示，也就是$C(A^T)$C(AT)。
   是$R_n$Rn​的子空间
4. 左零空间
   原矩阵$A$A转置的零空间$N(A^T)$N(AT)。
   是$R_m$Rm​的子空间
   四个子空间如下图所示：
   

• 子空间的基和维数

1. $C(A)$C(A)
   维数为$r$r ($r$r为$A$A的秩)。
   基可由$A$A的主元列构成。
2. $N(A)$N(A)
   维数为$n-r$n−r。
   基可以由进行消元操作后几个自由变量取不同的值得到，详见Lecture7-8。
3. $C(A^T)$C(AT)
   维数为$r$r。
   初等行变换不改变行空间，因为相当于行的线性组合。
   所以基是由$R$R的前$r$r行决定的。$R$R是经过行变换化简之后的最终A矩阵，前$r$r行均为非零行。
   由此也可以看出行空间的维数为$r$r，因为有$r$r个主元行，它们线性无关。
4. $N(A^T)$N(AT)
   维数为$m-r$m−r。
   Why left null space?
   首先根据定义：设左零空间内的向量为$y$y，$A^Ty=0$ATy=0。
   两边取转置即为：
   $y^TA=0$yTA=0
   How to get left null space?
   使用高斯若尔消元法，也就是类似求$A^{-1}$A−1的方法：
   $\begin{bmatrix}A_{m\times n}&amp;|&amp;I_{m\times m} \ \ \end{bmatrix}$[Am×n​​∣​Im×m​  ​]
   使用消元法使得$A\rightarrow R$A→R，得到：
   $\begin{bmatrix}R_{m\times n}&amp;|&amp;E_{m\times m} \ \ \end{bmatrix}$[Rm×n​​∣​Em×m​  ​]
   由高斯消元法的思想，将$A$A变为$R$R的过程相当于左乘$E$E矩阵。
   即：$EA=R$EA=R
   回顾前面逆矩阵所讲的，最终$R=I,E=A^{-1}$R=I,E=A−1。
   而这是一个长方形矩阵，不能得到逆矩阵。
   这时构建这个E的意义在于，$E$E的最后$m-r$m−r行构成左零空间的一组基。
   原因：在矩阵乘法的一种思考方式是，一个矩阵左乘一个行向量表示的是矩阵行的线性组合。观察$EA=R$EA=R，$R$R的最后的$m-r$m−r行一定是0，因为行空间的秩为$r$r。
   $E$E的最后$m-r$m−r每一行$r^*$r∗均满足${r^*}^TA=0$r∗TA=0
   因为$E$E是可逆的，所以最后$m-r$m−r行一定也是线性无关的，构成了左零空间的一组基。

2.一种新的向量空间

本节课最后，提出了一种新的向量空间，空间内的向量是一个个的矩阵，也就是把矩阵看做向量。
因为矩阵也满足加法和数乘的封闭性（不考虑矩阵乘法）。

• 这种新向量空间的子空间
  假设一个矩阵构成的空间为$M$M。
  上三角矩阵，对称矩阵，对角矩阵均为$M$M的子空间。