本章是Gilbert Strang的MIT线性代数Linear Algebra公开课中【第九章 线性相关性、基、维数（lecture 9 Independence, Basis and Dimension）】的笔记，参考他在 MIT Linear Algebra课程网站上公开分享的 lecture summary (PDF) & Lecture video transcript (PDF)等文档，整理笔记如下，笔记中的大部分内容是从 MIT Linear Algebra课程网站上的资料中直接粘贴过来的，本人只是将该课程视频中讲述的内容整理为文字形式，前面的章节可在本人的其他博客中找到（此处戳第一章，第二章，第三章，第四章，第五章，第六章，第七章，第八章），后面的章节会按照视频顺序不断更新~

lecture 9 Independence, Basis and Dimension

1 线性无关（Linear independence）

Independence是Linear independence的简称；

1.1 定义

Vectors $x_1, x_2, \dots, x_n$x1​,x2​,…,xn​ are linearly independent (or just independent) if no combination gives the zero vector（except the zero combination）, that is, the combination $c_{1} x_{1}+c_{2} x_{2}+\cdots+c_{n} x_{n}=0$c1​x1​+c2​x2​+⋯+cn​xn​=0 only when $c_1, c_2, ..., c_n$c1​,c2​,...,cn​ are all $0$0 . When those vectors are the columns of $A$A , the only solution to $Ax = 0$Ax=0 is $x = 0$x=0 .

1.2 判定是否线性无关

若矩阵 $A$A ： $m×n$m×n ( $m<n$m<n )，则方程组的未知数个数 $>$> 方程个数，由于一共 $n$n 个变量，而主元最多只有 $m$m 个，故至少存在 $n-m$n−m 个自由变量，因此，零空间中包含非零向量，即方程组 $Ax=0$Ax=0 含有非零解；求解 $Ax=0$Ax=0 方法：按行消元，确定自由变量，对自由变量取非零值（如 $1$1 ），然后回代求解主变量的值，至此求出 $Ax=0$Ax=0 的一个解，且是非零解，此时矩阵 $A$A 的各列对应的组合结果为 $0$0，且组合系数（即为非零解）非零，故 $A$A 的各列是相关的（dependent）。

综上，可以将需要判断相关性的向量（ $v_1, v_2, ..., v_n$v1​,v2​,...,vn​ ）放到一个矩阵中，即当 $v_1, v_2, ..., v_n$v1​,v2​,...,vn​ 是矩阵 $A$A 的各列时，如果他们是线性无关的（矩阵 $A$A 的各列线性无关），则矩阵 $A$A 的零空间中只有零向量 $N(A)=\{0\}$N(A)={0}，且 $\text{rank}(A)=n$rank(A)=n （没有自由变量）；如果零空间中存在非零向量，那么他们就是相关的，此时 $\text{rank}(A)<n$rank(A)<n （有自由变量）。

解存在的原因：一定存在自由变量（至少一个）

一般说一组向量线性无关，不说矩阵是线性无关的。我们感兴趣的是矩阵的各列是否相关，如果零空间 $N(A)$N(A) 中存在非零向量，那么该矩阵的各列相关。

Two vectors are independent if they do not lie on the same line. Three vectors are independent if they do not lie in the same plane.

Example 1：

1. 假设二维空间中的两个向量： $v_1=v$v1​=v ， $v_2=2v$v2​=2v ，他们是相关的（dependent），因为 $2v_1-v_2=0$2v1​−v2​=0 ，即存在非零组合使结果为 $0$0 。

2. 假设二维空间中的两个向量： Cannot read property 'type' of undefined ， Cannot read property 'type' of undefined ，他们是相关的，因为他们的组合 $xv_1+yv_2=0$xv1​+yv2​=0 中 $x$x 一定为 $0$0 ，而 $y$y 为任意值。

   如果向量组中包含了一个零向量，那么这组向量就是相关的。

3. 假设二维空间中的两个向量如下图，可见任何 $v_1$v1​ 和 $v_2$v2​ 的组合都无法得到零向量（除了零组合），故他们是无关（independence）的。
   

   如果在图中加入向量 $v_3$v3​ 如下图，此时是在二维空间或在一个平面里随意的画出三个向量，则他们是相关的。

   因为如果构造一个 $2×3$2×3 的矩阵 $A$A （它的三列分别为 $v_1, v_2, v_3$v1​,v2​,v3​ ），则该矩阵对应的线性方程组一定存在自由变量，故存在非零的 $c_1, c_2, c_3$c1​,c2​,c3​ 来代替未知数 $x$x ，使得对应的线性组合结果为零向量，即构成 $Ax=0$Ax=0 。（相当于从原点出发，途经某倍的 $v_1$v1​ , 某倍的$v_2$v2​ 和某倍的 $v_3$v3​ , 最终回到原点） 。
   

2 “生成”空间（Spanning a space）

——向量组生成或展开（span）一个空间（spanning a space），是什么意思？

——Vectors $v_1, v_2, \dots, v_k$v1​,v2​,…,vk​ span a space means: the space consists of all combinations of those vectors.

对于一个向量组，他们能够生成一个空间。如果给出一个向量组，并令 $S$S 为他们生成的空间，则意味着： $S$S 包含该向量组所有的线性组合，且 $S$S 是包含这些向量的空间中最小的一个；因为任何包含这些向量的空间，必须包含这个向量组的线性组合，如果仅仅包含这些组合，我们就得到最小的一个空间，这个空间就是向量组的生成空间。

将 “把向量组的所有线性组合的结果放到一个空间里面” 简称为 “生成” 。

例如，对于矩阵的列空间，相当于找到了矩阵的列的所有线性组合，矩阵的列向量生成了列空间，这些列可能相关，也可能无关。

3 基&维数（Basis and dimension）

3.1 基

我们最关心的是既能生成空间，本身又是无关的向量组，即向量的个数必须适当，如果个数不足，则无法生成需要的空间，若个数太多，则他们不是线性无关的，故提出“基”的概念，它包含的向量个数不多不少。

3.1.1 定义

A basis（基） for a vector space is a sequence of vectors $v_1, v_2, ..., v_d$v1​,v2​,...,vd​ with two properties:

1. $v_1, v_2, ..., v_d$v1​,v2​,...,vd​ are independent;
2. $v_1, v_2, ..., v_d$v1​,v2​,...,vd​ span the vector space.

The basis of a space tells us everything we need to know about that space.

Example 2： $\mathcal{R}^3$R3

1. One basis for $\mathcal{R}^3$R3 is $\left\{\left[\begin{array}{l}{1} \\ {0} \\ {0}\end{array}\right],\left[\begin{array}{l}{0} \\ {1} \\ {0}\end{array}\right],\left[\begin{array}{l}{0} \\ {0} \\ {1}\end{array}\right]\right\}$⎩⎨⎧​⎣⎡​100​⎦⎤​,⎣⎡​010​⎦⎤​,⎣⎡​001​⎦⎤​⎭⎬⎫​ （这不是唯一的一组基），他们线性无关（就像 $x、y、z$x、y、z 轴），且
   $c_{1}\left[\begin{array}{c} {1} \\ {0} \\ {0} \end{array}\right]+c_{2}\left[\begin{array}{c} {0} \\ {1} \\ {0} \end{array}\right]+c_{3}\left[\begin{array}{c} {0} \\ {0} \\ {1} \end{array}\right]=\left[\begin{array}{c} {0} \\ {0} \\ {0} \end{array}\right]$c1​⎣⎡​100​⎦⎤​+c2​⎣⎡​010​⎦⎤​+c3​⎣⎡​001​⎦⎤​=⎣⎡​000​⎦⎤​
   is only possible when $c_1 = c_2 = c_3 = 0$c1​=c2​=c3​=0 . These vectors span $\mathcal{R}^3$R3 . 当他们构成矩阵各列，则构成单位阵，而单位阵的零空间只有零向量，因此这些列向量线性无关。

2. 由于这组基不是唯一一组，故可以举出另一组基：

   • 如果是$\left[\begin{array}{l}{1} \\ {1} \\ {2}\end{array}\right],\left[\begin{array}{l}{2} \\ {2} \\ {5}\end{array}\right]$⎣⎡​112​⎦⎤​,⎣⎡​225​⎦⎤​ ，他们虽然线性无关，但是不能生成 $\mathcal{R}^3$R3 ，因为他们生成的空间是 $\mathcal{R}^3$R3 中的一个平面，故他们是平面的一组基，但是他们不能构成 $\mathcal{R}^3$R3 的基。

   • 如果再增加一个向量： $\left[\begin{array}{l}{3} \\ {3} \\ {7}\end{array}\right]$⎣⎡​337​⎦⎤​ ，这个是不可以的，因为他与前两个向量相关（他是前两个向量的和，他们三个共面），因此他们三个生成的仍然是那个平面；另外，由于他们相关，故不能构成一组基；因此，需要取不在此平面上的任意向量；

   • 如果是取 $\left[\begin{array}{l}{3} \\ {3} \\ {8}\end{array}\right]$⎣⎡​338​⎦⎤​ ：

     ——如何检验是否可以？（如何知道他们是否能构成基？）

     ——可以将他们作为矩阵的列向量构成一个矩阵，然后对该矩阵进行消元和行变换，看是否有自由变量，是否列都是主列；

     ——他们是否能够构成基？

     ——不可以，因为他们构成的矩阵有两个相同行，即会出现零行，因此这三个向量不是线性独立的，故不能；另外，现在这三个列向量构成的是 $3×3$3×3 的方阵，方阵必须可逆，其列才能组成基。

若空间 $\mathcal{R}^n$Rn 中的 $n$n 个向量要构成基，那么以这 $n$n 个向量为列的 $n×n$n×n 方阵必须是可逆的（invertible matrix）。

无关的所有列向量正好生成矩阵列空间，他们无关，所以是列空间的基。

3.1.2 特点

基不唯一，任取某可逆 $3×3$3×3 矩阵，其列都是 $\mathcal{R}^3$R3 的基，也就是：只要矩阵可逆，其列空间就是 $\mathcal{R}^3$R3 ；

如果是空间 $\mathcal{R}^3$R3 ，则基向量的个数是 $3$3 ；如果是空间 $\mathcal{R}^n$Rn ，那么基向量的个数就是 $n$n ；某矩阵的列空间或者零空间，或任意形状的空间，他们都有相同的性质：虽然基有很多组，但所有基中的向量个数都是一样的；

3.2 维数

一个空间对应的基有很多组，但是每一组中的向量个数都是相同的，而基中的向量的个数就是该空间的维数。Given a space, every basis for that space has the same number of vectors; that number is the dimension of the space.

3.3 总结

四个定义：

线性无关：非零线性组合不为 $0$0

生成：所有的线性组合

基：一组无关的向量，并生成空间

空间的维数：基向量的个数（所有基的向量个数都是一样的）

4 列空间和零空间的基（Bases of a column space and nullspace）

4.1 列空间的基（Bases of a column space）

如果你知道所处理的空间的维数（如列空间的维数 $\text{dim C(A)} =2$dim C(A)=2 ），即确定了所要找的线性无关的向量的数目（基向量的数目）（ 即$2$2 ），找到这些向量后，他们就会是一组基。

矩阵 $A$A 的秩 = 主列的数目 = 列空间的维数（dimension of $\text{C(A)}$C(A) ）

注意：不是矩阵 $A$A 的维数，而是 $A$A 的列空间的维数；同理，不会说是列空间的秩，因为只有矩阵才有秩；故维数只是对应空间来说，而秩是对于矩阵来说，不能混淆。

Example 3：
$A=\left[\begin{array}{llll} {1} & {2} & {3} & {1} \\ {1} & {1} & {2} & {1} \\ {1} & {2} & {3} & {1} \end{array}\right]$A=⎣⎡​111​212​323​111​⎦⎤​

1. ——他们能生成矩阵的列空间吗？

   ——能，这就是列空间的定义。

2. ——他们是列空间的基吗？

   ——不是，因为他们线性相关（后两列与前两列相关），矩阵的零空间内不只有 $0$0 ，还有非零向量，如 $\left[\begin{array}{r}{ -1} \\ {-1} \\ { 1} \\ {0}\end{array}\right]$⎣⎢⎢⎡​−1−110​⎦⎥⎥⎤​ 。

3. ——为这个矩阵的列空间找一组基？

   ——答案有很多，最简单的是：第一列和第二列；因为虽然后两列与前两列相关，但是前两列是独立的，这两列是主列，故他们能构成列空间 $C(A)$C(A) 的一组基。另外， $\text{rank}(A)=2$rank(A)=2 ；

4. ——找出这个列空间的另一组基？

   ——可以是：列一和列三，或者是列二和列三，或者是列二和列四；如果需要找出不是由这些列组成的基，可以是 $\left[\begin{array}{llll} {2} \\ {2} \\ {2} \end{array}\right]$⎣⎡​222​⎦⎤​ 和 $\left[\begin{array}{llll} {7} \\ {5} \\ {7} \end{array}\right]$⎣⎡​757​⎦⎤​ 等，他们是线性无关的，而且数目也刚好是 $2$2 。

4.2 零空间的基（Bases of nullspace）

零空间的维数 = 自由变量的个数 = $n-r$n−r （ KaTeX parse error: Expected '}', got '#' at position 18: …ext{dim N(A) = #̲free variables}… ）

$n$n 列中有 $r$r 个是主列， $n-r$n−r 是自由列和自由变量的个数。

零空间的向量告诉我们：怎样组合矩阵的列向量会得到零向量，即怎样这些列才会线性相关。

矩阵 $A$A 的列向量相关，则零空间 $N(A)$N(A) 包含非零向量。

Example 4：

在Example 3中已知，矩阵 $A$A 的零空间中有 $\left[\begin{array}{r}{-1} \\ {-1} \\ {1} \\ {0}\end{array}\right]$⎣⎢⎢⎡​−1−110​⎦⎥⎥⎤​ ，但是这不是一组基，因为他生成不了零空间，在零空间内还有其他向量，如 $\left[\begin{array}{r} {-1} \\ {0} \\ {0} \\ {1}\end{array}\right]$⎣⎢⎢⎡​−1001​⎦⎥⎥⎤​ ，这两个向量是 $Ax=0$Ax=0 的special solutions（对应选择后两个变量为自由变量，赋予他们 $1、0$1、0 或 $0、1$0、1 得到的结果）。

——这两个special solutions是零空间的一组基吗？（零空间是由这两个向量的所有组合构成的吗？）

——是。零空间的维数： $\text{N(A)}=4-2=2$N(A)=4−2=2 ，故这两个special solutions构成零空间的一组基。