MIT线性代数公开课笔记 第二章 消元矩阵

这里戳第一章笔记~MIT线性代数公开课笔记 lecture 1 The geometry of linear equations
下面继续第二章啦~~~

lecture 2 Elimination with matrices

Method of Elimination（消元法）

Success

Elimination is the technique most commonly used by computer software to solve systems of linear equations. It finds a solution x to Ax = b whenever the matrix A is invertible.

Example 1：
$x+2y+z=2 \\ 3x+8y+z=12 \\ 4y+z=2$x+2y+z=23x+8y+z=124y+z=2
  其中， $A=\left[\begin{array}{lll}{1} & {2} & {1} \\ {3} & {8} & {1} \\ {0} & {4} & {1}\end{array}\right]$A=⎣⎡​130​284​111​⎦⎤​ and $\mathbf{b}=\left[\begin{array}{r}{2} \\ {12} \\ {2}\end{array}\right]$b=⎣⎡​2122​⎦⎤​.

消元法具体步骤：

  固定方程一，用该方程乘以某个数，然后从方程二中将其减去，目的是消除方程二中的x变量，目的决定系数值，以此类推，下面用矩阵形式表示整个消元过程（为方便，下述消元过程中都进行减法（Gilbert Strang的习惯））：

 注意：主元不能为0

Failure

消元法什么情况下会失效？ （失效指的是不能得到三个主元。）

若给定的矩阵某个主元为0（等效于给定的方程组中的某一个方程不含有某一个变量），此时需要行交换，找出合适的主元。

假如Example 1中的主元二为6，则经过第一步(2,1)后，主元二变为0，此时只要此0下面的元素不是0就可以继续消元过程，在该例中是4，则可以进行行交换，进而保证交换后的矩阵，主元二不为0；但是，若主元二为0，同时它下面的元素不是4了，而是0，那么就没有办法了，则失效。

另外，若Example 1中矩阵第三行第三列处的1改为-4，则不存在主元三，则矩阵不可逆，则方程组注定无解，此时消元确定失效。行交换只能解决主元为0的暂时性失效，但是当0主元下面彻底没有非0值时，消元彻底失效。

Back substitution（回代）

将右侧向量代入，作为新的一列代入矩阵中，则此时的矩阵称为增广矩阵，对方程进行消元的过程中，右侧向量也会同步变化。Example 1中对应的增广矩阵的变化如下
  将消元最终的结果写成方程组的形式：
$x+2y+z=2 \\ 2y-2z=6 \\ 5z=-10$x+2y+z=22y−2z=65z=−10  即 $Ux=c$Ux=c，则很容易解得 $z=-2$z=−2 ；将其回代到第二个方程，得$y=1$y=1; 再代回第一个方程，得$x=2$x=2；此过程即为回代，因为方程组是三角的，所以反向。

Elimination Matrices（消元矩阵）

矩阵和矢量的乘法

矩阵乘以列向量得到矩阵各列的线性组合。
$\left[ \begin{matrix} -& - & -\\ -& - & - \\ -& - & - \end{matrix} \right] \left[ \begin{matrix} 3 \\ 4 \\ 7 \end{matrix} \right]= 3×col1+4×col2+7×col3$⎣⎡​−−−​−−−​−−−​⎦⎤​⎣⎡​347​⎦⎤​=3×col1+4×col2+7×col3行向量乘以矩阵得到矩阵各行的线性组合。
$\left[ \begin{matrix} 1& 2& 7 \end{matrix} \right] \left[ \begin{matrix} -& - & - \\ -& - & - \\ -& - & - \end{matrix} \right]= 1×row1+2×row2+7×row3$[1​2​7​]⎣⎡​−−−​−−−​−−−​⎦⎤​=1×row1+2×row2+7×row3

利用矩阵表示消元过程

（利用上述知识进行消元矩阵的求解。）

Example 1中消元的step 1，可以用矩阵乘积（matrix product:）来表示：
$\left[\begin{array}{rrr} {1} & {0} & {0} \\ {-3} & {1} & {0} \\ {0} & {0} & {1} \end{array}\right]\left[\begin{array}{lll} {1} & {2} & {1} \\ {3} & {8} & {1} \\ {0} & {4} & {1} \end{array}\right]=\left[\begin{array}{rrr} {1} & {2} & {1} \\ {0} & {2} & {-2} \\ {0} & {4} & {1} \end{array}\right]$⎣⎡​1−30​010​001​⎦⎤​⎣⎡​130​284​111​⎦⎤​=⎣⎡​100​224​1−21​⎦⎤​  The elimination（or elementary初等） matrix used to eliminate the entry in row $m$m column $n$n is denoted $E_{mn}$Emn​，则这一步中：
$E_{21}= \left[\begin{array}{rrr} {1} & {0} & {0} \\ {-3} & {1} & {0} \\ {0} & {0} & {1} \end{array}\right]$E21​=⎣⎡​1−30​010​001​⎦⎤​step 2: subtract（减掉） 2×row2 from row3
$E_{32}= \left[\begin{array}{rrr} {1} & {0} & {0} \\ {0} & {1} & {0} \\ {0} & {-2} & {1} \end{array}\right]$E32​=⎣⎡​100​01−2​001​⎦⎤​ 将所有的消元步骤合起来，即将所有消元矩阵（初等矩阵）合成一个来考虑：
$E_{32}(E_{21}A)=U$E32​(E21​A)=U

矩阵乘法的一些性质

associative law（结合律）

假如我们想要从矩阵$A$A变为矩阵$U$U，是否有矩阵能一次性解决这个问题？

 只需将消元矩阵放在一起，即括号可以移动，虽然矩阵顺序不变，但是可以改变乘法的顺序，即
$(E_{32}E_{21})A=U$(E32​E21​)A=U 则可得到一次性解决的矩阵。（增减括号是矩阵乘法的一项性质。）

permutation matrix（置换矩阵）

置换矩阵可以交换矩阵的两行（行交换）
$\left[\begin{array}{rrr} {0} & {1} \\ {1} & {0} \end{array}\right]\left[\begin{array}{lll} {a} & {b}\\ {c} & {d} \end{array}\right] =\left[\begin{array}{lll} {c} & {d}\\ {a} & {b} \end{array}\right]$[01​10​][ac​bd​]=[ca​db​]
   该矩阵记为P，代表permutation，其实对单位矩阵进行行变换，得到的就是置换矩阵。

如果要交换列：置换矩阵可以通过对单位阵进行列变换得到。
$\left[\begin{array}{lll} {a} & {b}\\ {c} & {d} \end{array}\right] \left[\begin{array}{rrr} {0} & {1} \\ {1} & {0} \end{array}\right] =\left[\begin{array}{lll} {b} & {a}\\ {d} & {c} \end{array}\right]$[ac​bd​][01​10​]=[bd​ac​]
左乘矩阵进行的行变换，右乘矩阵进行的是列变换。

矩阵乘法中，交换律不成立，即矩阵的顺序不能互换：$AB\not=BA$AB​=BA

Inverses

如何从上三角矩阵U变回A？即进行逆变换.（本讲中写出过的矩阵均可逆。）
$E_{21}=\left[\begin{array}{rrr} {1} & {0} & {0} \\ {-3} & {1} & {0} \\ {0} & {0} & {1} \end{array}\right]$E21​=⎣⎡​1−30​010​001​⎦⎤​
  该矩阵对应的操作：从行二中减去三倍的行一。那么什么矩阵可以将这个操作返回（取消本次消元）呢？即求某矩阵，使得求得的矩阵乘以初等矩阵$E_{21}$E21​得到单位阵，则所求矩阵对应的操作应为：第一行和第三行不变，第二行加上第一行的三倍，则所求矩阵为：
$\left[\begin{array}{rrr} {1} & {0} & {0} \\ {3} & {1} & {0} \\ {0} & {0} & {1} \end{array}\right]$⎣⎡​130​010​001​⎦⎤​   这就是$E_{21}$E21​的逆矩阵。

若原矩阵是$E$E，单位矩阵为$I$I，则所求矩阵为$E^{-1}$E−1，即 $E^{-1}E=I$E−1E=I。