系统辨识（六）：最小二乘法的修正算法
最小二乘法的修正算法主要包括：
- 广义最小二乘法（Generalized Least Squares Method，简称GLS）
- 辅助变量法（Instrumental Variable Method，简称IV）
- 扩充最小二乘法（Extended Least Squares Method，简称ELS）
- 相关最小二乘法（Correlation and Least Squares Method，简称CLS）
- 多步最小二乘法（Multistage Least Squares Method，简称MLS）
他们有一个共同的特点：将数学模型转换成最小二乘法所面向的ARX模型，从而利用成熟的最小二乘理论和方法来解决问题，使得参数估计量为无偏估计。
下面依次讲解一下各种修正算法的原理和应用。
1、广义最小二乘法
四、估计量的性质
⑴ 广义最小二乘法的估计量与马尔可夫估计量等价：具有一致性，有效性，无偏性。
⑵ 由于关于参数非线性，可能存在多个局部最优解，就可能收敛不到真值。
⑶ 收敛速度不高，可适当选取白化滤波的阶次m提高收敛速度，但没有理论方法指导。
⑷ 如果信噪比大，可以收敛到真值；如果信噪比小，可能趋近错误值。