矩阵是一个数表，由 m x n 个数排成的 m 行 n 列的数表[ a 11 a 12 ⋯ a 1 n a 21 a 22 ⋯ a 2 n ⋮ ⋮ ⋱ ⋮ a m 1 a m 2 ⋯ a m n ] \begin{bmatrix}
{a_{11}}&{a_{12}}&{\cdots}&{a_{1n}}\\
{a_{21}}&{a_{22}}&{\cdots}&{a_{2n}}\\
{\vdots}&{\vdots}&{\ddots}&{\vdots}\\
{a_{m1}}&{a_{m2}}&{\cdots}&{a_{mn}}\\
\end{bmatrix} ⎣ ⎢ ⎢ ⎢ ⎡ a 1 1 a 2 1 ⋮ a m 1 a 1 2 a 2 2 ⋮ a m 2 ⋯ ⋯ ⋱ ⋯ a 1 n a 2 n ⋮ a m n ⎦ ⎥ ⎥ ⎥ ⎤ a i j a_{ij} a i j a i i a_{ii} a i i a i i a_{ii} a i i
{ 2 x 1 + x 2 − x 3 = 1 x 1 + x 3 = − 2 \begin{cases}
2x_1+x_2-x_3&=1\\
x_1+x_3&=-2\\
\end{cases} { 2 x 1 + x 2 − x 3 x 1 + x 3 = 1 = − 2 A = [ 2 1 − 1 1 0 1 ] A= \begin{bmatrix}
2&1&-1\\
1&0&1\\
\end{bmatrix} A = [ 2 1 1 0 − 1 1 ] B = [ 2 1 − 1 1 1 0 1 − 2 ] B= \begin{bmatrix}
2&1&-1&1\\
1&0&1&-2\\
\end{bmatrix} B = [ 2 1 1 0 − 1 1 1 − 2 ]
运算
说明
同型矩阵
行列对应相等
矩阵相等
对应元素相同的同型矩阵
矩阵加法
同行矩阵才有定义，对应不元素相加
矩阵数乘
所有元素乘以对应的实数：kA = （ka i j a_{ij} a i j
矩阵乘法
A m × t B t × n = C m × n = ( c i j ) m × n A_{m \times t}B_{t \times n} = C_{m \times n} = (c_{ij})_{m \times n} A m × t B t × n = C m × n = ( c i j ) m × n c i j = ∑ k = 1 t a i k b k j c_{ij} = \sum_{k=1}^t{a_{ik}b_{kj}} c i j = ∑ k = 1 t a i k b k j
矩阵等价
A通过初等变换得到B
矩阵相似
A = M − 1 B M A=M^{-1}BM A = M − 1 B M
2x2矩阵{ 2 x − y = 0 − x + 2 y = 3 → [ 2 − 1 − 1 2 ] [ x y ] = [ 0 3 ] x [ 2 − 1 ] + y [ − 1 2 ] = [ 0 3 ] → { x = 1 y = 2 \begin{cases}2x-y=0\\-x+2y=3\\\end{cases} \rightarrow
\begin{bmatrix}2&-1\\-1&2\\\end{bmatrix} \begin{bmatrix}x\\y\\\end{bmatrix}=
\begin{bmatrix}0\\3\\\end{bmatrix} \\
x \begin{bmatrix}2\\-1\\\end{bmatrix} + y \begin{bmatrix}-1\\2\\\end{bmatrix}=
\begin{bmatrix}0\\3\\\end{bmatrix} \rightarrow
\begin{cases}x=1\\y=2\\\end{cases} { 2 x − y = 0 − x + 2 y = 3 → [ 2 − 1 − 1 2 ] [ x y ] = [ 0 3 ] x [ 2 − 1 ] + y [ − 1 2 ] = [ 0 3 ] → { x = 1 y = 2
通过交点可以判断方程是否有解
列向量的线性组合
[ c o l 1 c o l 2 c o l 3 ] [ a b c ] = a ∗ c o l 1 + b ∗ c o l 2 + c ∗ c o l 3 [ a b c ] [ r o w 1 r o w 2 r o w 3 ] = a ∗ r o w 21 + b ∗ r o w 2 + c ∗ r o w 3
\begin{bmatrix}col1&col2&col3\\\end{bmatrix}\begin{bmatrix}a\\b\\c\\\end{bmatrix}=a*col1+b*col2+c*col3\\
\begin{bmatrix}a&b&c\\\end{bmatrix}\begin{bmatrix}row1\\row2\\row3\\\end{bmatrix}=a*row21+b*row2+c*row3
[ c o l 1 c o l 2 c o l 3 ] ⎣ ⎡ a b c ⎦ ⎤ = a ∗ c o l 1 + b ∗ c o l 2 + c ∗ c o l 3 [ a b c ] ⎣ ⎡ r o w 1 r o w 2 r o w 3 ⎦ ⎤ = a ∗ r o w 2 1 + b ∗ r o w 2 + c ∗ r o w 3
ID
初等行（列）变换
1
交换两行（列）的位置
2
用一非零数程昱某一行的所有元素
3
把矩阵的某一行（列）的适当倍数加到另一行（列）上去
经过初等变换后，将矩阵转化成阶梯形式，如果曾广矩阵有非零主元则方程无解；如果阶梯矩阵对应的系数部分主对角含零，则有无穷解；
通过消元法将矩阵A转换成矩阵B（阶梯，上三角），对应行变换左乘的初等矩阵记为：E 1 , . . . , E k E1_,...,E_k E 1 , . . . , E k E k . . E 1 A = B → A = E 1 − 1 . . E k − 1 B ， 记 L = E 1 − 1 . . . E k − 1 ， 则 A = L U E_k..E_1A = B \rightarrow A = E_1^{-1}..E_k^{-1}B，记L=E_1^{-1}...E_k^{-1}，则A= LU E k . . E 1 A = B → A = E 1 − 1 . . E k − 1 B ， 记 L = E 1 − 1 . . . E k − 1 ， 则 A = L U
在行变换的基础上加上交换行，化简后的矩阵为:[ I F 0 0 ] \begin{bmatrix}I&F\\0&0\end{bmatrix} [ I 0 F 0 ] A X b = b ， 平 移 向 量 ， 将 零 空 间 移 离 原 点 AX_b = b，平移向量，将零空间移离原点 A X b = b ， 平 移 向 量 ， 将 零 空 间 移 离 原 点 A ( X b + X n u l l ) = b ， X n u l l 为 零 空 间 A(X_b+X_{null}) = b，X_{null}为零空间 A ( X b + X n u l l ) = b ， X n u l l 为 零 空 间
q i T q j = { 0 i ≠ j 1 i = j q_i^Tq_j=\begin{cases}0&i\neq j\\1& i=j \\\end{cases} q i T q j = { 0 1 i ̸ = j i = j Q = [ q 1 , . . , q n ] , 则 Q T Q = I Q=\begin{bmatrix}q_1,..,q_n\end{bmatrix}, 则Q^TQ = I Q = [ q 1 , . . , q n ] , 则 Q T Q = I Q 1 = 1 2 [ 1 1 1 1 1 − 1 1 − 1 1 1 − 1 − 1 1 − 1 − 1 1 ] , Q 2 = [ c o s ( θ ) − s i n ( θ ) a i n ( θ ) c o s ( θ ) ] Q_1=\frac{1}{2}\begin{bmatrix}1&1&1&1\\1&-1&1&-1\\1&1&-1&-1\\1&-1&-1&1\end{bmatrix},Q_2=\begin{bmatrix}cos(\theta)&-sin(\theta)\\ain(\theta)&cos(\theta)\end{bmatrix} Q 1 = 2 1 ⎣ ⎢ ⎢ ⎡ 1 1 1 1 1 − 1 1 − 1 1 1 − 1 − 1 1 − 1 − 1 1 ⎦ ⎥ ⎥ ⎤ , Q 2 = [ c o s ( θ ) a i n ( θ ) − s i n ( θ ) c o s ( θ ) ]
步骤
说明
单位化
$q_1=\frac{a_1}{
正交化
a = q 1 , b = q 2 − a T b a T a a , . . . a=q_1,b=q_2-\frac{a^{T}b}{a^{T}a}a,... a = q 1 , b = q 2 − a T a a T b a , . . .
整理
Q = [ a b . . ] （ A = Q R ， 其 中 R = Q T A 为 下 三 角 矩 阵 Q = \begin{bmatrix}a&b&..\end{bmatrix}（A=QR，其中R=Q^TA为下三角矩阵 Q = [ a b . . ] （ A = Q R ， 其 中 R = Q T A 为 下 三 角 矩 阵
Q − 1 = Q T Q^{-1}=Q^{T} Q − 1 = Q T
[ s i n ( t ) , c o s ( t ) , . . ] 或 [ e t , e i t , . . ] [sin(t),cos(t),..]或[e^t,e^{it},..] [ s i n ( t ) , c o s ( t ) , . . ] 或 [ e t , e i t , . . ]
矩阵可以分块计算
定义：所有元素都不小于0，每列和为1。λ 1 = 1 ， ∣ λ i ∣ < 1 ( i ≠ 1 ) \lambda_1 =1，|\lambda_i| < 1(i\neq1) λ 1 = 1 ， ∣ λ i ∣ < 1 ( i ̸ = 1 )
如 果 A B = B A = I ， 则 B 为 A 的 逆 矩 阵 ， 记 为 A − 1 如果AB = BA = I，则B为A的逆矩阵，记为A^{-1} 如 果 A B = B A = I ， 则 B 为 A 的 逆 矩 阵 ， 记 为 A − 1
等价命题
A可逆
AX = 0只有零解
A与I等价
A可以表示成有限个初等矩阵的乘积
solve more equations at once：( A ∣ I ) → 初 等 行 变 换 ( I ∣ A − 1 ) (A|I) \xrightarrow{初等行变换} (I|A^{-1}) ( A ∣ I ) 初 等 行 变 换 ( I ∣ A − 1 )
A 可 逆 的 充 要 条 件 为 A x = b 有 唯 一 解 x = b / A = A − 1 b A可逆的充要条件为Ax = b有唯一解 x = b/A = A^{-1}b A 可 逆 的 充 要 条 件 为 A x = b 有 唯 一 解 x = b / A = A − 1 b
伪逆|条件1|条件2|形式|结论N ( A ) = 0 N(A)=0 N ( A ) = 0 ( A T A ) − 1 A T (A^TA)^{-1}A^T ( A T A ) − 1 A T N ( A T ) = 0 N(A^T)=0 N ( A T ) = 0 A T ( A A T ) − 1 A^T(AA^T)^{-1} A T ( A A T ) − 1 A ( A T A ) − 1 A T A(A^TA)^{-1}A^T A ( A T A ) − 1 A T A T ( A A T ) − 1 A A^T(AA^T)^{-1}A A T ( A A T ) − 1 A
任何矩阵A都可以分解成：A = U Σ V T A = U\Sigma V^T A = U Σ V T Σ \Sigma Σ A A T = U Σ Σ T U T = U D U T AA^T = U \Sigma \Sigma^TU^T=UDU^T A A T = U Σ Σ T U T = U D U T A T A = V Σ T Σ V T = V W V T A^TA = V \Sigma^T \Sigma V^T=VWV^T A T A = V Σ T Σ V T = V W V T D m × m = [ σ 1 2 0 0 . 0 . 0 . 0 0 σ k 2 . . . . 0 ] ， W n × n = [ σ 1 2 0 0 . 0 . 0 . 0 0 σ k 2 . . . . 0 ] D_{m \times m}=\begin{bmatrix} \sigma_1^2&0&0&.\\0&.&0&. \\0&0&\sigma_k^2&.\\.&.&.&0\end{bmatrix}，W_{n \times n}=\begin{bmatrix} \sigma_1^2&0&0&.\\0&.&0&. \\0&0&\sigma_k^2&.\\.&.&.&0\end{bmatrix} D m × m = ⎣ ⎢ ⎢ ⎡ σ 1 2 0 0 . 0 . 0 . 0 0 σ k 2 . . . . 0 ⎦ ⎥ ⎥ ⎤ ， W n × n = ⎣ ⎢ ⎢ ⎡ σ 1 2 0 0 . 0 . 0 . 0 0 σ k 2 . . . . 0 ⎦ ⎥ ⎥ ⎤ A + = V Σ + U T ， Σ + = [ 1 σ 1 0 0 . 0 . 0 . 0 0 . 1 σ k . . . . 0 ] A^+=V \Sigma^+U^T，\Sigma^+=\begin{bmatrix} \frac{1}{\sigma_1}&0&0&.\\0&.&0&. \\0&0&.\frac{1}{\sigma_k}&.\\.&.&.&0\end{bmatrix} A + = V Σ + U T ， Σ + = ⎣ ⎢ ⎢ ⎡ σ 1 1 0 0 . 0 . 0 . 0 0 . σ k 1 . . . . 0 ⎦ ⎥ ⎥ ⎤
定义|说明|例子f ( a x + b y ) = a ∗ f ( x ) + b ∗ f ( y ) f(ax+by)=a*f(x)+b*f(y) f ( a x + b y ) = a ∗ f ( x ) + b ∗ f ( y )
名称
说明
列空间（column space）
矩阵列向量张成的空间
零空间（null space）
A x = 0 Ax=0 A x = 0 N ( A ) N(A) N ( A )
行空间（转置的列空间）
矩阵行向量张成的空间
转置零空间（左零空间）
A T y = y T A = 0 A^{T}y = y^{T}A = 0 A T y = y T A = 0 N ( A T ) N(A^T) N ( A T )
N ( A T ) N(A^{T}) N ( A T )
每个矩阵A m × n A_{m \times n} A m × n R m R^m R m R n R^n R n
特征向量在矩阵A的变化下只会出现缩放，不会出现方向变化：A x = λ x ， λ = 0 时 ， A x = 0 ， 对 应 的 x 确 定 零 空 间 N ( A ) Ax=\lambda x，\lambda =0时，Ax=0，对应的x确定零空间N(A) A x = λ x ， λ = 0 时 ， A x = 0 ， 对 应 的 x 确 定 零 空 间 N ( A ) A x = λ x → ( A − λ I ) x = 0 Ax=\lambda x \rightarrow (A-\lambda I)x=0 A x = λ x → ( A − λ I ) x = 0 ∣ A − λ I ∣ = 0 ， 得 到 特 征 方 程 ， x i 为 A − λ i I 的 零 空 间 。 |A-\lambda I|=0，得到特征方程，x_i为A-\lambda_iI的零空间。 ∣ A − λ I ∣ = 0 ， 得 到 特 征 方 程 ， x i 为 A − λ i I 的 零 空 间 。
{ A x = α x B x = β x ↛ ( A + B ) x = ( α + β ) x ， 对 应 的 特 征 向 量 不 同 \begin{cases}Ax=\alpha x \\Bx=\beta x \end{cases} \nrightarrow (A+B)x=(\alpha + \beta)x，对应的特征向量不同 { A x = α x B x = β x ↛ ( A + B ) x = ( α + β ) x ， 对 应 的 特 征 向 量 不 同
矩阵|特征值|例子λ 为 虚 数 \lambda 为虚数 λ 为 虚 数 旋 转 矩 阵 [ 0 − 1 1 0 ] ， λ 1 = i ， λ 2 = − i ， v 1 = [ i − 1 ] ， v 2 = [ i 1 ] 旋转矩阵\begin{bmatrix}0&-1\\1&0 \end{bmatrix}，\lambda_1 = i，\lambda_2 =-i，v_1 = \begin{bmatrix}i\\-1\end{bmatrix}，v_2=\begin{bmatrix}i\\1\end{bmatrix} 旋 转 矩 阵 [ 0 1 − 1 0 ] ， λ 1 = i ， λ 2 = − i ， v 1 = [ i − 1 ] ， v 2 = [ i 1 ] λ 为 实 数 ， 不 同 特 征 值 的 特 征 向 量 正 交 \lambda 为实数，不同特征值的特征向量正交 λ 为 实 数 ， 不 同 特 征 值 的 特 征 向 量 正 交 λ 和 正 交 向 量 不 够 n 个 \lambda 和正交向量不够n个 λ 和 正 交 向 量 不 够 n 个 [ 0 1 0 0 ] ， λ = 1 ， v = [ 1 0 ] \begin{bmatrix}0&1\\0&0 \end{bmatrix}，\lambda = 1，v=\begin{bmatrix}1\\0\end{bmatrix} [ 0 0 1 0 ] ， λ = 1 ， v = [ 1 0 ]
∑ i = 1 n λ i = ∑ i = 1 n a i i \sum_{i=1}^n \lambda_i=\sum_{i=1}^n a_{ii} ∑ i = 1 n λ i = ∑ i = 1 n a i i ∏ i = 1 n λ i = d e t A \prod_{i=1}^n \lambda_i=detA ∏ i = 1 n λ i = d e t A
利用QR分解迭代求解特征值：A i = Q i R i A_i = Q_iR_i A i = Q i R i R i Q i = A i + 1 R_iQ_i=A_{i+1} R i Q i = A i + 1
f ( A ) = a 1 A k + . . . + a 1 A + a 0 I f(A) = a_1A^k+...+a_1A+a_0I f ( A ) = a 1 A k + . . . + a 1 A + a 0 I f ( λ ) = a 1 λ k + . . . + a 1 λ + a 0 f(\lambda) = a_1\lambda^k+...+a_1\lambda+a_0 f ( λ ) = a 1 λ k + . . . + a 1 λ + a 0
d e t A = ∣ a 11 a 12 . . . a 1 n a 21 a 22 . . . a 2 n . . . a n 1 a n 2 . . . a n n ∣ det A = \left| \begin{matrix}
a_{11}&a_{12}&...&a_{1n}\\
a_{21}&a_{22}&...&a_{2n}\\
.&.&&.\\
a_{n1}&a_{n2}&...&a_{nn}\\
\end{matrix} \right| d e t A = ∣ ∣ ∣ ∣ ∣ ∣ ∣ ∣ a 1 1 a 2 1 . a n 1 a 1 2 a 2 2 . a n 2 . . . . . . . . . a 1 n a 2 n . a n n ∣ ∣ ∣ ∣ ∣ ∣ ∣ ∣ 当 n = 1 时 ， d e t A = a 11 当n=1时，detA = a_{11} 当 n = 1 时 ， d e t A = a 1 1 当 n ≥ 2 时 ， d e t A = a 11 A 11 + a 12 A 12 + . . . a 1 n A 1 n , A i j = ( − 1 ) i + j M i j 当n \geq 2时，detA = a_{11}A_{11}+a_{12}A_{12}+...a_{1n}A_{1n},A_{ij} = (-1)^{i+j}M_{ij} 当 n ≥ 2 时 ， d e t A = a 1 1 A 1 1 + a 1 2 A 1 2 + . . . a 1 n A 1 n , A i j = ( − 1 ) i + j M i j 其 中 A i j 称 为 余 子 式 ， M i j 为 代 数 余 子 式 。 其中A_{ij}称为余子式，M_{ij}为代数余子式。 其 中 A i j 称 为 余 子 式 ， M i j 为 代 数 余 子 式 。
行列式
矩阵
数
数表
D n D_n D n A m × n A_{m \times n} A m × n
| |
(),[]
ID|性质|推论d e t I = 1 ( 放 缩 ) detI = 1(放缩) d e t I = 1 ( 放 缩 ) d e t A = 0 为 奇 异 detA=0为奇异 d e t A = 0 为 奇 异 d e t A = a i 1 A i 1 + . . . + a i n A i n detA = a_{i1}A_{i1}+...+a_{in}A_{in} d e t A = a i 1 A i 1 + . . . + a i n A i n d e t A 某 一 行 全 为 0 ⇒ d e t A = 0 detA某一行全为0\Rightarrow detA=0 d e t A 某 一 行 全 为 0 ⇒ d e t A = 0 d e t A 中 某 两 行 对 应 位 置 元 素 相 等 ⇒ d e t A = 0 detA中某两行对应位置元素相等\Rightarrow detA=0 d e t A 中 某 两 行 对 应 位 置 元 素 相 等 ⇒ d e t A = 0 ∣ a 11 . . a 1 n . . . b i 1 + c i 1 . . b i n + c i n . . . a n 1 . . a n n ∣ = ∣ a 11 . . a 1 n . . . b i 1 . . b i n . . . a n 1 . . a n n ∣ + ∣ a 11 . . a 1 n . . . c i 1 . . c i n . . . a n 1 . . a n n ∣ \left|\begin{matrix}a_{11}&..&a_{1n}\\.&.&.\\b_{i1}+c_{i1}&..&b_{in}+c_{in}\\.&.&.\\a_{n1}&..&a_{nn}\\\end{matrix} \right|=\\\left|\begin{matrix}a_{11}&..&a_{1n}\\.&.&.\\b_{i1}&..&b_{in}\\.&.&.\\a_{n1}&..&a_{nn}\\\end{matrix} \right|+\left|\begin{matrix}a_{11}&..&a_{1n}\\.&.&.\\c_{i1}&..&c_{in}\\.&.&.\\a_{n1}&..&a_{nn}\\\end{matrix} \right| ∣ ∣ ∣ ∣ ∣ ∣ ∣ ∣ ∣ ∣ a 1 1 . b i 1 + c i 1 . a n 1 . . . . . . . . a 1 n . b i n + c i n . a n n ∣ ∣ ∣ ∣ ∣ ∣ ∣ ∣ ∣ ∣ = ∣ ∣ ∣ ∣ ∣ ∣ ∣ ∣ ∣ ∣ a 1 1 . b i 1 . a n 1 . . . . . . . . a 1 n . b i n . a n n ∣ ∣ ∣ ∣ ∣ ∣ ∣ ∣ ∣ ∣ + ∣ ∣ ∣ ∣ ∣ ∣ ∣ ∣ ∣ ∣ a 1 1 . c i 1 . a n 1 . . . . . . . . a 1 n . c i n . a n n ∣ ∣ ∣ ∣ ∣ ∣ ∣ ∣ ∣ ∣ 将 A 的 某 一 行 元 素 全 乘 以 k 得 到 d e t A 1 = k d e t A 将A的某一行元素全乘以k得到detA_1=kdetA 将 A 的 某 一 行 元 素 全 乘 以 k 得 到 d e t A 1 = k d e t A 将 某 一 行 的 k 倍 加 到 其 他 行 d e t A 不 ， 交 换 两 行 d e t A 变 号 ， 某 两 行 元 素 对 应 成 比 例 则 d e t A = 0 将某一行的k倍加到其他行detA不，交换两行detA变号，某两行元素对应成比例则detA=0 将 某 一 行 的 k 倍 加 到 其 他 行 d e t A 不 ， 交 换 两 行 d e t A 变 号 ， 某 两 行 元 素 对 应 成 比 例 则 d e t A = 0 d e t ( A B ) = d e t A ∗ d e t B det(AB)=detA*detB d e t ( A B ) = d e t A ∗ d e t B d e t ( A T ) = d e t A det(A^T)=detA d e t ( A T ) = d e t A
A − 1 = C T d e t A A^{-1}=\frac{C^T}{detA} A − 1 = d e t A C T C T C^T C T c i j 为 对 应 的 余 子 式 c_{ij}为对应的余子式 c i j 为 对 应 的 余 子 式 [ a 11 a 12 . a 1 n a 21 a 22 . a 2 n . . . a n 1 a n 2 . a n n ] [ c 11 c 12 . c 1 n c 21 c 22 . c 2 n . . . c n 1 a n 2 . c n n ] = [ d e t A 0 . 0 0 d e t A . 0 . . . 0 0 . d e t A ] = d e t A ⋅ I \begin{bmatrix}a_{11}&a_{12}&.&a_{1n}\\a_{21}&a_{22}&.&a_{2n}\\
.&.&&.\\a_{n1}&a_{n2}&.&a_{nn} \end{bmatrix} \begin{bmatrix}c_{11}&c_{12}&.&c_{1n}\\c_{21}&c_{22}&.&c_{2n}\\
.&.&&.\\c_{n1}&a_{n2}&.&c_{nn} \end{bmatrix} = \begin{bmatrix}detA&0&.&0\\0&detA&.&0\\
.&.&&.\\0&0&.&detA \end{bmatrix}=detA \cdot I
⎣ ⎢ ⎢ ⎡ a 1 1 a 2 1 . a n 1 a 1 2 a 2 2 . a n 2 . . . a 1 n a 2 n . a n n ⎦ ⎥ ⎥ ⎤ ⎣ ⎢ ⎢ ⎡ c 1 1 c 2 1 . c n 1 c 1 2 c 2 2 . a n 2 . . . c 1 n c 2 n . c n n ⎦ ⎥ ⎥ ⎤ = ⎣ ⎢ ⎢ ⎡ d e t A 0 . 0 0 d e t A . 0 . . . 0 0 . d e t A ⎦ ⎥ ⎥ ⎤ = d e t A ⋅ I
行列式的值为向量组维成的超体的体积，特征向量方向的缩放比为对应的特征值。
A x = [ − 1 1 0 0 0 − 1 1 0 − 1 0 1 0 − 1 0 0 1 0 0 − 1 1 ] [ x 1 x 2 x 3 x 4 ] = C [ y 1 y 2 y 3 y 4 y 5 ] Ax= \begin{bmatrix}-1&1&0&0\\0&-1&1&0\\-1&0&1&0\\-1&0&0&1\\0&0&-1&1\end{bmatrix}\begin{bmatrix}x_1\\x_2\\x_3\\x_4\end{bmatrix} =
C\begin{bmatrix}y_1\\y_2\\y_3\\y_4\\y_5\end{bmatrix} A x = ⎣ ⎢ ⎢ ⎢ ⎢ ⎡ − 1 0 − 1 − 1 0 1 − 1 0 0 0 0 1 1 0 − 1 0 0 0 1 1 ⎦ ⎥ ⎥ ⎥ ⎥ ⎤ ⎣ ⎢ ⎢ ⎡ x 1 x 2 x 3 x 4 ⎦ ⎥ ⎥ ⎤ = C ⎣ ⎢ ⎢ ⎢ ⎢ ⎡ y 1 y 2 y 3 y 4 y 5 ⎦ ⎥ ⎥ ⎥ ⎥ ⎤
A T y = [ − 1 0 − 1 − 1 0 1 − 1 0 0 0 0 1 1 0 − 1 0 0 0 1 1 ] [ y 1 y 2 y 3 y 4 y 5 ] = [ 0 0 0 0 ] A^Ty= \begin{bmatrix}-1&0&-1&-1&0\\1&-1&0&0&0\\0&1&1&0&-1\\0&0&0&1&1\end{bmatrix}\begin{bmatrix}y_1\\y_2\\y_3\\y_4\\y_5\end{bmatrix} =
\begin{bmatrix}0\\0\\0\\0\end{bmatrix} A T y = ⎣ ⎢ ⎢ ⎡ − 1 1 0 0 0 − 1 1 0 − 1 0 1 0 − 1 0 0 1 0 0 − 1 1 ⎦ ⎥ ⎥ ⎤ ⎣ ⎢ ⎢ ⎢ ⎢ ⎡ y 1 y 2 y 3 y 4 y 5 ⎦ ⎥ ⎥ ⎥ ⎥ ⎤ = ⎣ ⎢ ⎢ ⎡ 0 0 0 0 ⎦ ⎥ ⎥ ⎤ f = A T y = A T C A X ， A T C A 为 对 称 矩 阵 f=A^Ty=A^TCAX，A^TCA为对称矩阵 f = A T y = A T C A X ， A T C A 为 对 称 矩 阵
求 解 A x = b ， b 不 属 于 A 的 列 向 量 张 成 的 空 间 ， 此 时 求 解 距 离 最 小 的 最 优 解 A x ^ = p ， p 是 b 在 a 方 向 的 投 影 。 求解Ax=b，b不属于A的列向量张成的空间，此时求解距离最小的最优解A \hat x
=p，p是b在a方向的投影。 求 解 A x = b ， b 不 属 于 A 的 列 向 量 张 成 的 空 间 ， 此 时 求 解 距 离 最 小 的 最 优 解 A x ^ = p ， p 是 b 在 a 方 向 的 投 影 。
p ⃗ = x a ⃗ ， 其 中 x 为 比 例 系 数 ， 故 求 解 x 即 可 。 因 为 e ⃗ 与 p ⃗ 正 交 时 e 的 模 最 小 ， 故 ： \vec{p}=x\vec{a}，其中x为比例系数，故求解x即可。因为\vec{e}与\vec{p}正交时e的模最小，故： p = x a ， 其 中 x 为 比 例 系 数 ， 故 求 解 x 即 可 。 因 为 e 与 p 正 交 时 e 的 模 最 小 ， 故 ： e ⃗ ⋅ p ⃗ = a ⃗ T ( b ⃗ − p ⃗ ) = a ⃗ T ( b ⃗ − x a ⃗ ) = 0 \vec{e} \cdot \vec{p}=\vec{a}^{T}(\vec{b}-\vec{p})=\vec{a}^{T}(\vec{b}-x\vec{a})=0 e ⋅ p = a T ( b − p ) = a T ( b − x a ) = 0 x = a T b a T a ， p = a x = a a T b a T a = a a T a T a b = P b x = \frac{a^Tb}{a^Ta}，p = ax = a\frac{a^Tb}{a^Ta} = \frac{aa^T}{a^Ta}b = Pb x = a T a a T b ， p = a x = a a T a a T b = a T a a a T b = P b
因为e与A正交，故e ∈ N ( A T ) \in N(A^T) ∈ N ( A T ) p = x 1 a 1 + . . + x k a k = A x p = x_1a_1 + .. + x_ka_k = A x p = x 1 a 1 + . . + x k a k = A x a i T e i = a i T ( b i − A x i ) = 0 a_i^Te_i=a_i^T(b_i-Ax_i) = 0 a i T e i = a i T ( b i − A x i ) = 0 p = A x = A ( A T A ) − 1 A T b = P b p = Ax = A(A^TA)^{-1}A^Tb = Pb p = A x = A ( A T A ) − 1 A T b = P b
投影矩阵（P）的性质
P T = P P^T=P P T = P
P 2 = P P^2=P P 2 = P
I = P + E , （ b − p = e = E b ） I=P+E,（b-p=e=Eb） I = P + E , （ b − p = e = E b ）
数据拟合，求解到已知点距离和最小的目标曲线。
设直线为C+Dx=y，带入三点坐标：[ 1 1 1 2 1 3 ] [ C D ] = [ 1 2 2 ] \begin{bmatrix}1&1\\1&2\\1&3\end{bmatrix}\begin{bmatrix}C\\D\end{bmatrix}=\begin{bmatrix}1\\2\\2\end{bmatrix} ⎣ ⎡ 1 1 1 1 2 3 ⎦ ⎤ [ C D ] = ⎣ ⎡ 1 2 2 ⎦ ⎤ A T A x ^ = A T b ， x ^ 为 最 小 二 乘 解 ， 图 解 如 下 ： A^TA \hat x = A^Tb，\hat x 为最小二乘解，图解如下： A T A x ^ = A T b ， x ^ 为 最 小 二 乘 解 ， 图 解 如 下 ：
m i n ∣ ∣ A x − b ∣ ∣ 2 = ∣ ∣ e ∣ ∣ 2 = e 1 2 + e 2 2 + e 3 2 min {||Ax-b||}^2={||e||}^2=e_1^2+e_2^2+e_3^2 m i n ∣ ∣ A x − b ∣ ∣ 2 = ∣ ∣ e ∣ ∣ 2 = e 1 2 + e 2 2 + e 3 2 f ( C , D ) = ( C + D − 1 ) 2 + ( C + 2 D − 2 ) 2 + ( C + 3 D − 2 ) 2 f(C,D)={(C+D-1)}^2+{(C+2D-2)}^2+{(C+3D-2)}^2 f ( C , D ) = ( C + D − 1 ) 2 + ( C + 2 D − 2 ) 2 + ( C + 3 D − 2 ) 2
A x = λ x → A S = Λ S → A = S − 1 Λ S Ax=\lambda x \rightarrow AS=\Lambda S \rightarrow A = S^{-1} \Lambda S A x = λ x → A S = Λ S → A = S − 1 Λ S S 为 特 征 向 量 构 成 的 矩 阵 ， Λ 为 特 征 值 构 成 的 矩 阵 。 上 面 公 式 可 以 简 化 矩 阵 求 幂 。 S为特征向量构成的矩阵，\Lambda 为特征值构成的矩阵。上面公式可以简化矩阵求幂。 S 为 特 征 向 量 构 成 的 矩 阵 ， Λ 为 特 征 值 构 成 的 矩 阵 。 上 面 公 式 可 以 简 化 矩 阵 求 幂 。
方程
通解
U k + 1 = A U k U_{k+1}=AU_k U k + 1 = A U k U k = C 1 λ k x x + . . U_k=C_1 \lambda^k x_x +.. U k = C 1 λ k x x + . .
d u d t = A u \frac{du}{dt}=Au d t d u = A u u ( t ) = C 1 e λ 1 t + . . u(t)=C_1e^{\lambda_1t}+.. u ( t ) = C 1 e λ 1 t + . .
线代控制理论用矩阵表示系统，如上面第二种微分方程，指数中的虚部代表震荡，实部影响稳定性。
λ \lambda λ 稳定性
所有$\lambda_i\leq$1
李雅普诺夫稳定（不发散）
所有$\lambda_i=$1
渐进稳定（随着时间收敛到0）
存在$\lambda_i>$1
不稳定
图片（512x512 pixel）$\xrightarrow{JPEG}{}64 b l o c k （ 8 x 8 p i x e l ） 64block（8x8 pixel） 6 4 b l o c k （ 8 x 8 p i x e l ） 系 数 c 系数c 系 数 c [ 1 0 0 0 0 0 0 0 ] \begin{bmatrix}1\\0\\0\\0\\0\\0\\0\\0\end{bmatrix} ⎣ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎡ 1 0 0 0 0 0 0 0 ⎦ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎤ [ 0 1 0 0 0 0 0 0 ] \begin{bmatrix}0\\1\\0\\0\\0\\0\\0\\0\end{bmatrix} ⎣ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎡ 0 1 0 0 0 0 0 0 ⎦ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎤ [ 0 0 0 0 0 0 0 1 ] \begin{bmatrix}0\\0\\0\\0\\0\\0\\0\\1\end{bmatrix} ⎣ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎡ 0 0 0 0 0 0 0 1 ⎦ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎤ [ 1 1 1 1 1 1 1 1 ] \begin{bmatrix}1\\1\\1\\1\\1\\1\\1\\1\end{bmatrix} ⎣ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎡ 1 1 1 1 1 1 1 1 ⎦ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎤ [ 1 1 1 1 − 1 − 1 − 1 − 1 ] \begin{bmatrix}1\\1\\1\\1\\-1\\-1\\-1\\-1\end{bmatrix} ⎣ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎡ 1 1 1 1 − 1 − 1 − 1 − 1 ⎦ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎤ [ 0 0 0 0 0 0 0 1 ] \begin{bmatrix}0\\0\\0\\0\\0\\0\\0\\1\end{bmatrix} ⎣ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎡ 0 0 0 0 0 0 0 1 ⎦ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎤ [ 1 1 1 1 1 1 1 1 ] \begin{bmatrix}1\\1\\1\\1\\1\\1\\1\\1\end{bmatrix} ⎣ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎡ 1 1 1 1 1 1 1 1 ⎦ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎤ [ 1 ω ω 2 ω 3 ω 4 ω 5 ω 6 ω 7 ] \begin{bmatrix}1\\\omega\\\omega^2\\\omega^3\\\omega^4\\\omega^5\\\omega^6\\\omega^7\end{bmatrix} ⎣ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎡ 1 ω ω 2 ω 3 ω 4 ω 5 ω 6 ω 7 ⎦ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎤ [ 1 ω 7 ω 14 ω 21 ω 28 ω 35 ω 42 ω 49 ] \begin{bmatrix}1\\\omega^7\\\omega^{14}\\\omega^{21}\\\omega^{28}\\\omega^{35}\\\omega^{42}\\\omega^{49}\end{bmatrix} ⎣ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎡ 1 ω 7 ω 1 4 ω 2 1 ω 2 8 ω 3 5 ω 4 2 ω 4 9 ⎦ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎤ [ 1 1 1 1 1 1 1 1 ] \begin{bmatrix}1\\1\\1\\1\\1\\1\\1\\1\end{bmatrix} ⎣ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎡ 1 1 1 1 1 1 1 1 ⎦ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎤ [ 1 1 1 1 − 1 − 1 − 1 − 1 ] \begin{bmatrix}1\\1\\1\\1\\-1\\-1\\-1\\-1\end{bmatrix} ⎣ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎡ 1 1 1 1 − 1 − 1 − 1 − 1 ⎦ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎤ [ 1 1 − 1 − 1 0 0 0 0 ] \begin{bmatrix}1\\1\\-1\\-1\\0\\0\\0\\0\end{bmatrix} ⎣ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎡ 1 1 − 1 − 1 0 0 0 0 ⎦ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎤ [ 0 0 0 0 1 1 − 1 − 1 ] \begin{bmatrix}0\\0\\0\\0\\1\\1\\-1\\-1\end{bmatrix} ⎣ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎡ 0 0 0 0 1 1 − 1 − 1 ⎦ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎤ [ 1 − 1 0 0 0 0 0 0 ] \begin{bmatrix}1\\-1\\0\\0\\0\\0\\0\\0\end{bmatrix} ⎣ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎡ 1 − 1 0 0 0 0 0 0 ⎦ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎤ [ 0 0 1 − 1 0 0 0 0 ] \begin{bmatrix}0\\0\\1\\-1\\0\\0\\0\\0\end{bmatrix} ⎣ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎡ 0 0 1 − 1 0 0 0 0 ⎦ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎤ [ 0 0 0 0 1 − 1 0 0 ] \begin{bmatrix}0\\0\\0\\0\\1\\-1\\0\\0\end{bmatrix} ⎣ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎡ 0 0 0 0 1 − 1 0 0 ⎦ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎤ [ 0 0 0 0 0 0 1 − 1 ] \begin{bmatrix}0\\0\\0\\0\\0\\0\\1\\-1\end{bmatrix} ⎣ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎡ 0 0 0 0 0 0 1 − 1 ⎦ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎤
