（五）矩阵

如果满足 $A x = λ x$ ，其中 $A$ 是方阵， $λ$ 是标量值， $x$ 是向量；则称 $λ$ 是方阵的特征值， $x$ 是方阵的特征向量。 $A x$ 的集合意义是对向量 $x$ 进行旋转和伸缩变换，如下图
（五）矩阵
假如

A = [\begin{matrix} 4 & 1 \\ 1 & 4 \end{matrix}]

对于

x_{3} = [\begin{matrix} 1 \\ 1 \end{matrix}]

，则有

A x_{3} = 5 [\begin{matrix} 1 \\ 1 \end{matrix}]

对于 $A x_{i} = λ x_{i}$ ，如果所有的特征值都不相同，则相应的所有的特征向量线性无关。此时， $A$ 可以被对角化为

A = V Λ V^{- 1}

其中，

V = [x_{1}, . . ., x_{n}]

是一个可逆矩阵；

Λ = D i a g (λ_{1}, . . ., λ_{n})

。

注意：不是所有的方阵都可以对角化，但是对称矩阵可以，而协方差矩阵就是一个对称矩阵。

(1)如果一个对称矩阵的特征值不同，则其相应的所有的特征向量正交（即 $U U^{T} = U^{T} U = I$ ）

A = U Λ U^{T} = [\begin{matrix} u_{1}, & . . . & , u_{n} \end{matrix}] [\begin{matrix} λ_{1} \\ ⋱ \\ λ_{n} \end{matrix}] [\begin{matrix} u_{1}^{T} \\ ⋮ \\ u_{n}^{T} \end{matrix}] = \sum_{i = 1}^{n} λ_{i} u_{i} u_{i}^{T}

(2)对称矩阵的特征值是实数
(3)如果

A \in R^{n \times n}

是一对称矩阵并且矩阵的秩

r a n k r \leq n

，则有

| λ_{1} | \geq | λ_{2} | \geq . . . \geq | λ_{r} | > λ_{r + 1} = . . . = λ_{n} = 0

（1）二次型
给定矩阵 $A \in R^{n \times n}$ ，函数

x^{T} A x = \sum x_{i} x_{j} a_{i j}

称为二次型。
（2）半正定矩阵
如果对于所有

x \in R^{n}

,有

x^{T} A x \geq 0

,则A为半正定矩阵，此时

λ (A) \geq 0

（3）正定矩阵
如果对于所有

x \in R^{n}

x \neq 0

,有

x^{T} A x > 0

,则A为正定矩阵