11正交矩阵和Gram-Schmidt正交化法

转载自：https://blog.****.net/huang1024rui/article/details/69568991

`这是关于正交性最后一讲，已经知道正交空间，比如行空间和零空间，今天主要看正交基和正交矩阵`

1.标准正交基与正交矩阵

1.定义标准正交向量（orthonormal）： $q_{i}^{T} q_{j} = {\begin{cases} 0 & i!=j \\ 1 & i=j \end{cases}$

2.将标准正交向量放入矩阵中,有 $Q = [\begin{matrix} q_{1} & q_{2} & \dots & q_{n} \end{matrix}]$ ，计算 $Q^{T} Q$

Q^{T} Q = [\begin{matrix} 1 & 0 & . . . & 0 \\ 0 & 1 & . . . & 0 \\ ⋮ & ⋮ & ⋱ & ⋮ \\ 0 & 0 & \dots & 1 \end{matrix}] = I

我们也把 $Q$ 成为标准正交矩阵（orthonormal matrix）

标准正交基

例1:

例2：

Q = \frac{1}{\sqrt{2}} [\begin{matrix} 1 & 1 \\ 1 & - 1 \end{matrix}]

上面矩阵列向量长度为1，列向量相互正交。

例3：

Q^{^{'}} = c [\begin{matrix} Q & Q \\ Q & - Q \end{matrix}]

上面矩阵取合适的c使得矩阵的列向量长度为1，也可以构造标准正交矩阵。构造结果如下：

Q = \frac{1}{2} [\begin{matrix} 1 & 1 & 1 & 1 \\ 1 & - 1 & 1 & - 1 \\ 1 & 1 & - 1 & - 1 \\ 1 & - 1 & - 1 & 1 \end{matrix}]

这种构造方法以阿德玛（Adhemar）命名，对2,4,16,64,⋯阶矩阵有效。

格拉姆-施密特正交化法的缺点在于，由于要求得单位向量，所以我们总是除以向量的长度，这导致标准正交矩阵中总是带有根号，而上面几个例子很少有根号。

标准正交矩阵

$Q^{T} Q$ 对任意的 $Q$ 都成立，但我们更关注 $Q$ 为方阵时的情况，因为其有逆且由 $Q^{T} Q = I \Rightarrow Q - 1 = Q^{T}$ ，我们叫这种column vector为标准正交向量组成且为方阵的矩阵为**正交矩阵**orthogonal matrix。

注意：标准正交矩阵 orthogonormal matrix不一定是方阵，当它是方阵的时候，我们叫它正交矩阵 orthogonal matrix。

1.2正交矩阵

为什么我们如此关注标准正交矩阵 orthogonormal matrix为方阵 的情形？

上一讲我们研究了 $A^{T} A$ 的特性，联系我们之前学习的投影矩阵projection matrix，将向量 $b$ 投影在标准正交矩阵Q的列空间中，根据上一讲的公式得 $P = Q (Q^{T} Q)^{- 1} Q^{T}$ ，由于标准正交矩阵Q的性质，易得 $P = Q Q^{T}$ 。

我们断言，当列向量为标准正交基时， $Q Q^{T}$ 是投影矩阵。极端情况，假设矩阵是方阵，而其列向量是标准正交的，则其列空间就是整个向量空间，而投影整个空间的投影矩阵就是单位矩阵，此时 $Q Q^{T} = I$ 。

我们计算的 $A^{T} A x^{=} A^{T} b$ ，现在变为 $Q^{T} Q \hat{x} = Q^{T} b$ ，也就是 $x^{=} Q^{T} b$ ，分解开来看就是 $\hat{x} q_{i}^{T} = q_{i}^{T} b$ ，这个式子在很多数学领域都有重要作用。当我们知道标准正交基，则解向量第 $i$ 个分量为基的第 $i$ 个分量乘以b，在第 $i$ 个基方向上的投影就等于 $q_{i}^{T} b$ 。

2. Gram-Schmidt正交化法

这是一种将矩阵转化为标准正交向量orthogonormal matrix的方法。按老师的说法Schmidt教我们如何将一个向量标准化normalized，而Graham教我们如何使得各个向量正交orthogonal。

总思路：已知相互无关的向量 $a, b$ ，目标要将 $a, b$ 变成相互正交且长度为1的 $q_{1}, q_{2}$ ，可将向量 $a$ 固定，然后 $b$ 投影到 $a$ 上，误差 $e = b$ .