MIT线性代数笔记-第十四讲

这一节课主要讲的是正交

下图为之前四种子空间的关系

orthogonal(perpendicular) vectors

xTy=0$x^{T}y=0$
||x||2+||y||2=||x+y||2$||x|{|}^2+||y|{|}^2=||x+y|{|}^2$
->xTx+yTy=(x+y)T(x+y)=xTx+yTy+2xTy+yTx$x^{T}x+y^{T}y=(x+y{)}^T(x+y)=x^{T}x+y^{T}y+2x^{T}y+y^{T}x$
->xTy=0$x^{T}y=0$

zero vector is orthogonal to everybody

subspace S is orthogonal to subspace T

means:every vector in S is orthogonal to every vector in T
这也代表了:orthogonal subspaces don’t intersect at any nonzero vector

row space is orthogonal to null space

but why?
证明如下:
AX = 0
⎡⎣⎢⎢⎢row1row2...rown⎤⎦⎥⎥⎥[x]=0$\left[\begin{array}{c}row1\\ row2\\ ...\\ rown\end{array}\right]\left[\begin{array}{c}x\end{array}\right]=0$
c1(row1)Tx=0$c_1(ro{w}_1{)}^{T}x=0$
c2(row2)Tx=0$c_2(ro{w}_2{)}^{T}x=0$
…
(c1row1+c2row2+...)Tx=0$(c_{1}ro{w}_1+c_{2}ro{w}_2+...{)}^{T}x=0$

nullspace and row space are orthogonal complements in Rn$R^n$
which means
null space contains all vectors 垂直于 row space

coming:

“solve” Ax = b when there is no solution

为什么我们要求一个看起来这么荒谬的东西？
两个原因:
1.当m > n时，有大量的b不会在A的列空间中
2.实际应用时候，b可能会有噪音(观测值误差)，而我们想利用b获取更多的信息

为了解决这个问题，我们需要更好的了解ATA$A^{T}A$,它有两个特点:
1.square
2.symmetric

我们首先来看一个ATA$A^{T}A$的例子:
A=⎡⎣⎢111125⎤⎦⎥$A=\left[\begin{array}{cc}1& 1\\ 1& 2\\ 1& 5\end{array}\right]$
可以看出，A是不可逆的，m > n
我们来看看ATA$A^{T}A$
ATA=[38830]$A^{T}A=\left[\begin{array}{cc}3& 8\\ 8& 30\end{array}\right]$
ATA$A^{T}A$可逆！
那么对于Ax=b$Ax=b$,我们可以做一下转换:
ATAx=ATb−>x=(ATA)−1ATb$A^{T}Ax=A^{T}b->x=(A^{T}A{)}^{-1}{A}^{T}b$

既然如此，那么我们自然很关注ATA$A^{T}A$在什么情况下可逆

N(ATA)=N(A)$N(A^{T}A)=N(A)$
rank of ATA$A^{T}A$ = rank of A

ATA$A^{T}A$ is invertible exactly if A has indep cols