【线性代数的本质】

“线性代数的本质”是3blue1brown的视频，看了之后可以对线性代数有更多直观的理解。

---

序言

几何上的理解能让你判断出解决特定问题需要用什么样的工具，感受到他们为什么有用，以及如何解读最终结果，数值上的理解则能让你顺利应用这些工具。

---

矩阵与线性变换

矩阵的列向量可以看作是原空间的基向量经过变换后的形式。
矩阵的秩表示变换后列空间的维数。

上图中

就是变换后x轴的基向量，而就是变换后y轴的基向量。那么原始空间的向量在变换后的空间就是x[ac]+y[bd]$x\left[\begin{array}{c}a\\ c\end{array}\right]+y\left[\begin{array}{c}b\\ d\end{array}\right]$

非方阵

如果是非方阵例如3×2的矩阵M，那么原始空间的维度是2，经过该矩阵M表示的线性变换后，变为3维空间的一个平面，和原来的2维空间不在一个平面上了。所以这个矩阵的线性变换可以把2维空间变换到3维空间。

矩阵乘法

矩阵乘法相当于复合线性变换。
矩阵变换满足结合律，不满足交换律。

---

行列式

行列式表示矩阵代表的线性变换导致空间某个面积(或体积)的缩放比例。

---

逆矩阵/列空间/零空间

设线性方程组：

如果det(A)≠0$det(A)\ne 0$，表示线性变换没有将空间挤压为体积为0（降维）。这时，可以通过做相反的变换A−1$A^{-1}$由v⃗ $\overrightarrow{v}$得到x⃗ $\overrightarrow{x}$.
如果det(A)=0$det(A)=0$，表示线性变换将空间压缩到更低维度上。这时逆变换不存在，A−1$A^{-1}$不存在。但是解仍然可能存在，比如空间恰好压缩到v⃗ $\overrightarrow{v}$这条线上。
线性变换后的空间是矩阵的列空间。如果一个三维空间变换为一条线，则有一个平面被压缩为零向量，这个平面中向量构成零空间。

---

点积与对偶性

多维空间的一个向量可以看作多维空间到数轴的变换。这个向量称为变换的对偶向量。
向量的点积可以看作由多维空间到数轴的变换。

---

叉积

二维空间的叉积：

v⃗ ×w⃗ =det([v⃗  w⃗ ])$\overrightarrow{v}\times \overrightarrow{w}=det(\left[\begin{array}{c}\overrightarrow{v}\overrightarrow{w}\end{array}\right])$
数值就是两个向量围成的平行四边形的面积。

三维空间的叉积：

1. 根据v⃗ $\overrightarrow{v}$和w⃗ $\overrightarrow{w}$定义一个三维到一维的线性变换
2. 找到该变换的对偶向量
3. 说明这个对偶向量就是v⃗ ×w⃗ $\overrightarrow{v}\times \overrightarrow{w}$
   
   上图中的f(⎡⎣⎢⎢xyz⎤⎦⎥⎥)$f(\left[\begin{array}{c}x\\ y\\ z\end{array}\right])$就是一个三维到一维的线性变换，它表示由⎡⎣⎢⎢xyz⎤⎦⎥⎥$\left[\begin{array}{c}x\\ y\\ z\end{array}\right]$和v⃗ $\overrightarrow{v}$、w⃗ $\overrightarrow{w}$围起来的平行六面体的体积。
   
   可以说明存在一个向量p⃗ $\overrightarrow{p}$对应于线性变换f(⎡⎣⎢⎢xyz⎤⎦⎥⎥)$f(\left[\begin{array}{c}x\\ y\\ z\end{array}\right])$，p⃗ $\overrightarrow{p}$就是线性变换的对偶向量，而且可以通过p⃗ =v⃗ ×w⃗ $\overrightarrow{p}=\overrightarrow{v}\times \overrightarrow{w}$计算得到p⃗ $\overrightarrow{p}$.

---

基变换

如果M$M$是我们可见的空间的变换，而A$A$表示从小明的角度转换到我们的空间的基变换矩阵，那么A−1MA$A^{-1}MA$就是M矩阵对应的变换在小明空间的对应形式。
假如小明空间的向量v⃗ $\overrightarrow{v}$，它进行A−1MA$A^{-1}MA$变换后，按照从右到左的顺序理解。Av⃗ $A\overrightarrow{v}$将向量v⃗ $\overrightarrow{v}$变换到我们所见的空间的坐标形式，然后MAv⃗ $MA\overrightarrow{v}$将Av⃗ $A\overrightarrow{v}$做M$M$矩阵对应的变换。然后A−1$A^{-1}$将我们所见空间的向量MAv⃗ $MA\overrightarrow{v}$变换为小明空间的坐标形式。
所以A−1MA$A^{-1}MA$表示M$M$矩阵对应的变换在小明空间的矩阵。

---

特征向量与特征值

何为特征向量和特征值

矩阵M$M$的特征向量v⃗ $\overrightarrow{v}$是经过M$M$对应的线性变换，依旧在原来直线(该向量张成的空间)上的向量。该特征向量对应的特征值可以认为是经过M$M$线性变换，v⃗ $\overrightarrow{v}$的放缩比例。

如何求解特征向量：

如果det(A−λI)≠0$det(A-\lambda I)\ne 0$，则v⃗ $\overrightarrow{v}$有且只有一个是零向量。只有当det(A−λI)=0$det(A-\lambda I)=0$时，可以有非零解。

基向量是特征向量：

一组同样是特征向量的基向量构成的集合被称为一组特征基。
在这组特征基对应的坐标系中原矩阵的变换对应的是对角矩阵。

---

抽象向量空间

线性变换的严格定义：

求导也是线性运算。

---

轻松理解SVD

参考谈谈矩阵SVD分解

其中M$M$是要做SVD分解的矩阵，U,V$U,V$是酉矩阵，VH$V^H$表示V的转置共轭矩阵, Σ$\mathrm{\Sigma }$是非负实数的对角矩阵。

数值上的理解：

所以U,V$U,V$分别是MMH$M{M}^H$和MHM$M^{H}M$的特征向量组成的矩阵。（可以结合特征基理解）

几何上的理解：

酉矩阵代表旋转变换，对角矩阵代表缩放变换。(谈谈矩阵SVD分解)
那么SVD分解相当于把矩阵M$M$分解为一个旋转变换，然后再缩放变换，然后再旋转变换。如果我们只关注矩阵代表的每个特征强度，只需要关心缩放变换对应的矩阵Σ$\mathrm{\Sigma }$的元素大小即可。