无他，就是撸一遍:

Numerical Analysis, 2nd Edition Timothy Sauer, George Mason University

中文版由 机械工业出版社 出版。

约定：定义 定理 思考

1. 解方程（Solving Equations）

1.1 二分法（The Bisection Method）

定义1.1 对于方程，如果有，则说  是 的一个根。

定理1.2 令  是  上的连续函数，满足  , 则  在  和  之间存在一个根。

二分法算法流程：

二分法误差：

在区间 ， 次二分之后，得到最终区间  其长度为  。选取中间点 最为根 的最有估计，则误差为：

定义1.3 如果误差小于 ，则称其精确到小数点后  位。

二分法迭代次数：

只要确定了期望的精度，就可以依据二分法误差计算公式得到所需要的迭代次数。

 

1.2 不动点迭代（Fixed-Point Iteration）

定义1.4 对于方程 ，存在  ，使得 ，就称  是方程  的不动点。

例如：

FPI 算法流程：

当方程可写作  的形式时，则使用初值  进行 FPI：

FPI 可能收敛，也可能不收敛，如果收敛到 ，则  就是  的不动点，也是  的解。

不同的  形式

同一个方程写成不同的 ，由于  的不同，其能不能收敛，收敛快慢也不同：

例：对于 ，其  可写成：

                 (a)

               (b) 

               (c)

令 ，分别进行 FPI，其每次迭代数值，及 cobweb 图 ：

(a)  不收敛

(b) 收敛较慢

       

(c) 快速收敛

      

 

不动点迭代（FPI）的线性收敛

通过对  几何观察，其不动点  附近的斜率的绝对值，即  如果 小于 1，则FPI收敛，大于 1，则FPI不收敛。

定义1.5 令  表示FPI过程中第  步的误差，如果：则满足线性收敛，收敛率为。

注: 关于 线性收敛，超线性收敛，r阶收敛；以及 Rate of convergence；令见下文 定义1.10。

定理1.6 设  连续可微，， 且  。那么就称对于一个足够接近  的初值估计，FPI以速度  线性收敛到不动点.

定义1.7 如果一个迭代方法，能够以一个足够接近  的初值估计收敛到 ，则称该方法局部收敛（Locally Convergent）。

例：使用FPI计算 

，即求  的不动点，运用FPI，收敛到 1.414215686

分析此时  导数 ，收敛率，收敛，且收敛很快。

终止条件（Stopping Criteria）

不同于二分法，FPI无固定的误差公式，无法预测收敛所需步数，故而需要给出终止条件

（1.18）中  通常用于解在 0 附近的情况。

另外，好的FPI（代码）实现通常要设置最大迭代次数，以防止收敛失败。

二分法和FPI比较

	二分法	FPI
收敛性	保证线性收敛	局部收敛时，则线性收敛
每步计算	每步只需一次函数求值	一次
速度	每步去掉1/2不确定性	不确定性会乘上，故而可能更慢或更快，要看比1/2大还是小
其他		牛顿方法是FPI的改善，其

1.3 精度（Accuracy）

前向误差和后向误差 (Forward error & Backward error)

定义1.8 设 是方程  的一个根，即满足 ，  是根  的近似值，对于求解根的问题，该近似解  的前向误差是 ，后向误差是  。

关于“前向”和“后向”：

“Backward error is on the left or input (problem data) side. It is the amount we would need to change the problem (the function f ) to make the equation balance with the output approximation . This amount is . Forward error is the error on the right or output (problem solution) side. It is the amount we would need to change the approximate solution
to make it correct, which is .”

思考：对于方程  有根 ，写成  的形式，即有 ，设 为近似值，则对应的：

前向误差：；

后向误差：

相对前向误差（relative forward error）：

相对后向误差（relative backward error）：

定义1.9 设  是可微函数  的 一个根，即满足 ，如果有：

 

就称  在  处有  重数（multiplicity m）。如果重数大于1，则称  在  处有重根（multiple root），当重数为1时，称为单根（simple）。

Wilkinson多项式

由式（1.19）可知根为1 到 20 的实数。但是若是给出的是式（1.20），使用迭代方法求解，“its evaluation suffers from cancellation of nearly equal, large numbers.”  小误差导致最终的大误差。

根求解的敏感性（Sensitivity of root-finding）

当输入小的误差，导致求解后大的输出误差时，这一情况被称作敏感性。

根的敏感性公式：

误差放大因子（error magnification factor）:

即： 相对前向误差 / 相对后向误差

条件数（condition number）

"The condition number of a problem is defined to be the maximum error magnification over all input changes, or at least all changes of a prescribed type."  条件数是误差放大的一总度量。

下图来自 维基百科-条件数：

思考：条件数 也可以看作是 最大误差放大因子。

条件数为1左右的问题称为 良态问题(well-conditioned)，条件数高的问题称为 病态问题(ill-conditioned)。

1.4 牛顿法（Newton's Method）

即牛顿-拉弗逊法（Newton-Raphson Method），通常比之前提的线性收敛的收敛速度更快。

牛顿法算法流程：

牛顿法的二次收敛（Quadratic convergence of Newton’s Method）

定义1.10 令  为某迭代法第  步后的误差，则满足：，称该方法二次收敛。

定理1.11 设  是二阶连续可微函数，且  ，若 ，则称牛顿法局部二次收敛到 。第  步的误差为满足：

证明：

 

牛顿法的线性收敛（Linear convergence of Newton’s Method）

定理1.11 并不是说牛顿法总是能够二次收敛。

定理1.12 设在区间  上，有  阶连续可微函数 ，其  有  重根，那么牛顿法局部收敛到 ，且  步的误差  满足：，其中 。

注：依据定理1.11 和定理1.12，可以知道牛顿法在  是单根情况下为二次收敛； 为重根时，牛顿法的收敛率同二分法和FPI一样同处于线性收敛。

改进牛顿法（Modified Newton’s Method）

定理1.13 如果  是在区间  上的  阶连续可微函数，其有  重根 ，那么牛顿法改进为: 

局部二次收敛到  。

1.5 无导数的根求解

除了多重根的情况，牛顿法之所以比二分法和FPI收敛更快，是因为其运用了更多的信息，就是导数。但有的时候导数难以计算，所以有以下无需导数的迭代求解方法：

割线法（Secant Method）

同牛顿法相比，即用差商替代导数。且需要两个初始估值。并以超线性（superlinear）收敛到 ，收敛速度介于线性和二次收敛之间。割线法有三个变体

变体一·试位法（False Position 或 Regula Falsi）

与二分法有些类似，中点由类割线方法替代

注：试位法初始表现出对二分法和割线法的性能提升，因其融合了二者的优点，但二分法能够保证每次去掉1/2的不确定性，而试位法并不能有此保证，某些时候可能收敛的非常慢：

变体二·穆勒法（Muller's Method）

使用前三个迭代值画出一个抛物线 ，该抛物线与x轴相交，通常会有0到2个交点。如果有两个交点，那么距离近的那个交点作为。如果不相交，则会有复数解。

变体三·逆二次插值（Inverse Quadratic Interpolation 即IQI）

使用形如  的抛物线替代穆勒法中的  。那么该抛物线与x轴只有一个交点。

经过  三个点的二次多项式  为：

这是拉格朗日插值（Lagrange interpolation）的一个例子（后头讲插值时会细讲）。

穆勒法和IQI比较示意：

穆勒法和IQI均比割线法收敛快，这是因为使用的更高阶的插值。

Brent法

一种混合方法，其融合了之前出现的一些方法。试想结合了二分法一定收敛，且其他复杂方法的快速收敛特性，岂不是能爽到！

同样，Brent法运用于连续函数  ，边界是，且。

Brent法记录当前点 ，其有最优后向误差（ that is best in the sense of backward error），且有包含有根的区间  。总督来说就是：如果满足1）后向误差得到改进（improve）且 2）包含根的区间至少减半，那么尝试IQI法取更新  的值；如果不满足以上两点，则使用割线法更新；如果还是失败了，就用二分法，这样能保证每步迭代以至少去除一半不确定性。