MIT线性代数笔记-第十七讲

orthogonal basis

注意，q为单位向量，长度为1

如果A可以转化为每个列向量为正交向量，即A转化为Q，那么QTQ=I$Q^{T}Q=I$,极大的简化了计算

orthogonal matrix

注意，只有当Q为方阵，且其中的列向量为正交时，Q被叫做正交矩阵
如果Q为方阵，那么由QTQ=I$Q^{T}Q=I$可以得出,Q−1=QT$Q^{-1}=Q^T$

几个例子:
⎡⎣⎢010001100⎤⎦⎥⎡⎣⎢001100010⎤⎦⎥=I$\left[\begin{array}{ccc}0& 0& 1\\ 1& 0& 0\\ 0& 1& 0\end{array}\right]\left[\begin{array}{ccc}0& 1& 0\\ 0& 0& 1\\ 1& 0& 0\end{array}\right]=I$

[cosθsinθ−sinθcosθ]$\left[\begin{array}{cc}\cos \theta & -\sin \theta \\ \sin \theta & \cos \theta \end{array}\right]$

12√[111−1]$\frac{1}{\sqrt{2}}\left[\begin{array}{cc}1& 1\\ 1& -1\end{array}\right]$

Adhemar matrix
12⎡⎣⎢⎢⎢11111−11−111−1−11−1−11⎤⎦⎥⎥⎥$\frac{1}{2}\left[\begin{array}{cccc}1& 1& 1& 1\\ 1& -1& 1& -1\\ 1& 1& -1& -1\\ 1& -1& -1& 1\end{array}\right]$

之前都是方阵，再来看看矩阵的例子:
13⎡⎣⎢122−2−12⎤⎦⎥$\frac{1}{3}\left[\begin{array}{cc}1& -2\\ 2& -1\\ 2& 2\end{array}\right]$

Q有什么优点?
假设Q的列都为正交向量，那么P(Q的列空间的投影矩阵)为:
P=Q(QTQ)−1QT=QQT$P=Q(Q^{T}Q{)}^{-1}{Q}^T=Q{Q}^T$
我们注意到，如果Q是方阵，那么P为I，也很容易理解，若Q为方阵，那么Q的列空间为整个空间，Qx = b总有解，b的投影即为b本身
P有两个性质:
1.QQT$Q{Q}^T$有对称性
2.(QQT)2=(QQT)$(Q{Q}^T{)}^2=(Q{Q}^T)$，(QQT)(QQT),QTQ=I$(Q{Q}^T)(Q{Q}^T),Q^{T}Q=I$

之前关于Least Square的核心公式为:
ATAx^=ATb$A^{T}A\hat{x}=A^{T}b$
现在将A替换为Q会发生什么？
QTQx^=QTb−>x^=QTb$Q^{T}Q\hat{x}=Q^{T}b->\hat{x}=Q^{T}b$

也就是:xi^=qTib$\widehat{x_i}=q_i^{T}b$

Gram-Schmidt

makes columns orthogonal

如果有第三个向量，该如何对其操作?
C=c−ATcATAA−BTcBTBB$C=c-\frac{A^{T}c}{A^{T}A}A-\frac{B^{T}c}{B^{T}B}B$
记住，还要对C进行正规化，即长度为1，将向量除以对应的长度即可

看一下例子:

在消元法中，A可以表示为LU，那么Gram-Schmidt呢？
A = QR（Q为一个三角矩阵）

例子:

利用Q和R来求Least Squares很快，只需要用Gram-Schmidt求出Q和R，然后做back-substitution即可

执行Gram-Schmidt的伪代码如下: