根据 Stanford CS131 课程写的笔记（大部分为 note 翻译），英语水平一般，如有错误请评论指正

Lecture 3 Linear Algebra Primer Part 2

Transformation Matrices

矩阵可以用多种方式将向量转换，最简单的例子是缩放：

[sx00sy]$\left[\begin{array}{cc}{s}_x& 0\\ 0& s_y\end{array}\right]$ x [xy]$\left[\begin{array}{c}x\\ y\end{array}\right]$ = [sxxsyy]$\left[\begin{array}{c}{s}_{x}x\\ s_{y}y\end{array}\right]$

Rotate 旋转

也可以用矩阵来逆时针旋转向量θ$\theta$角：

x′=cosθx−sinθyy′=cosθy+sinθxR=[cosθsinθ−sinθcosθ]$$\begin{gathered} x^{\prime }=cos\theta x-sin\theta y \\ {y}^{\prime }=cos\theta y+sin\theta x \\ R=\left[\begin{array}{cc}cos\theta & -sin\theta \\ sin\theta & cos\theta \end{array}\right] \end{gathered}$$

Scaling 缩放

Homogeneous Coordinates 齐次坐标，简而言之，用N+1$N+1$维向量表示N$N$维向量。

Cartesian 笛卡尔坐标，也就是常说的 xy 坐标系

笛卡尔坐标于齐次坐标的转换：(x,y,w)=(x/w,y/w)$(x,y,w)=(x/w,y/w)$

所以，为了向原有向量添加常数，以下运用到齐次坐标的原理

P=⎡⎣⎢xy1⎤⎦⎥,S=⎡⎣⎢sx000sy0001⎤⎦⎥P′=S⋅P$$\begin{gathered} P=\left[\begin{array}{c}x\\ y\\ 1\end{array}\right],S=\left[\begin{array}{ccc}{s}_x& 0& 0\\ 0& s_y& 0\\ 0& 0& 1\end{array}\right] \\ {P}^{\prime }=S·P \end{gathered}$$

Translating 移动

P=⎡⎣⎢xy1⎤⎦⎥,T=⎡⎣⎢100010txty1⎤⎦⎥P′=T⋅P$$\begin{gathered} P=\left[\begin{array}{c}x\\ y\\ 1\end{array}\right],T=\left[\begin{array}{ccc}1& 0& t_x\\ 0& 1& t_y\\ 0& 0& 1\end{array}\right] \\ {P}^{\prime }=T·P \end{gathered}$$

以上旋转、缩放、移动可以同时应用，即P′=T⋅R⋅S⋅P$P^{\prime }=T·R·S·P$。作用顺序从右往左（可以交换），前式表示先移动后旋转再缩放。

Matrix Inverse(逆)

• AA−1=I$A{A}^{-1}=I$
• (AB)−1=B−1A−1$(AB{)}^{-1}=B^{-1}{A}^{-1}$
• A−T=(AT)−1=(A−1)T$A^{-T}=(A^T{)}^{-1}=(A^{-1}{)}^T$
• 非方矩阵的逆矩阵不存在

Pseudoinverse(伪逆矩阵)

通常为了解方程AX=B$AX=B$，会使用X=A−1B$X=A^{-1}B$，在 python 上命令为np.linalg.inv(A)*B。但是有时候计算A−1$A^{-1}$十分耗时，甚至A−1$A^{-1}$可能不存在。

所以这时我们需要伪逆矩阵，具体原理暂时不了解，使用 python 命令np.linalg.solve(A,B)会返回方程AX=B$AX=B$的最优解。

Matrix Rank(秩)

• 一个变换矩阵 A 的秩告诉你它会将矩阵转换到几个维度上，例如，r(A)=1$r(A)=1$，则p′=Ap$p^{\prime }=Ap$返回一条线
• col-rank：最大线性无关列数目
• row-rank：最大线性无关行数目
• 满秩矩阵：mxm & r(A)=m$mxm\mathrm{\&}amp;r(A)=m$

Eigenvalues(特征值) and Eigenvectors(特征向量)

定义

当 A 点乘特征向量时，不会改变方向，只会放缩。即Ax=λx,x≠0$Ax=\lambda x,x\ne 0$，x$x$为特征向量，λ$\lambda$为特征值。

求解

1. 解|λI−A|=0$|\lambda I-A|=0$得到特征值λ$\lambda$
2. 带入原式得特征向量

性质

• 矩阵的迹 = 特征值之和
• 行列式 (determinant)A = 特征值之积
• 矩阵的秩 = 非零特征值的个数
• 对角矩阵的特征值 = 对角线上的值

Spectral(谱) Theory

特征对 (eigenpair) 特征值和其对应的特征向量

谱 (spectrum) 包含所有特征值的集合

谱半径 (spectrum radius) 绝对值最大的特征值，它的上界为该矩阵的无限范数

Diagonalization 对角化

若nxn$nxn$矩阵 A 有 n 个线性无关特征值，则 A 可以对角化

• 满足A∗A=AA∗$A^{\ast }A=A{A}^{\ast }$的矩阵可以对角化，其中A∗$A^{\ast }$是 A 的复共轭矩阵
• 有 n 个相异 (distinct) 特征值的矩阵可对角化

计算：对角化矩阵A=VDVT$A=VD{V}^T$，其中 V 为特征向量组合成的矩阵，D 为对角值为特征值的对角矩阵，DV 相对应

Symmetric(对称) Matrix

如果 A 是对称的，则其特征值为真，且特征向量标准正交 (orthonormal)。

应用

• PageRank
• 薛定谔方程
• PCA

矩阵计算

Gradient

Gradient 性质

Hessian

即梯度的梯度

Hessian 性质

• Hessian 是对称的

矩阵计算例子

梯度例子

Hessian 例子