一、最小二乘法的基本原理

在研究分析的过程中，经常要对一些研究对象构建数学模型来进行分析。通常在建模过程中有机理法建模和通过数据驱动的方式建模。因此怎样确定系统的数学模型及参数———即系统辨识问题就自然被提了出来。
问题的提出：

二、最小二乘法数学模型

用最小二乘法（Least Squares Method，简称LS）进行参数估计，首先要指定模型类，通常情况下，采用差分方程来描述被辨识系统，且假定系统的阶次已知。

三、加权最小二乘法

如果考虑到在不同时刻、不同环境下，数据的价值不同，这时可引入“加权因子”，即修正系数，对不同次的数据进行修正。

四、对于测试信号的要求

系统可以辨识的条件：输入信号必须是持续激励信号。

五、最小二乘估计值的统计性质

最小二乘估计把参数估计问题转化成了确定性最优化问题。在求解过程当中并没有涉及到噪声问题。









5、结论

一种参数估计方法如果具有无偏性、一致性和有效性，那么这种估计方法就是一种好的估计方法。

若所面向的数学模型是ARX模型，则最小二乘估计一定具有无偏性、一致性和有效性。最小二乘法是一种非常完美的参数估计方法。

六、最小二乘法的递推算法

递推最小二乘法（Recursive Least Squares Method）


递推算法的公式推导：






递推算法的启动：

七、最小二乘法的实时算法

“实时”的含义：
⑴ 及时，计算速度快，在指定时间内完成一次估计，上述的无限增长记忆的递推最小二乘法就具备了很好的及时性；
⑵ 真实，能准确地反映系统的当前特性（如时变参数等），也就是说，要能够适应系统本身或环境变化，所以实时算法也叫做适应算法。
从原理上讲，随着观测数据的增加，通过不断地递推估计，模型参数的估计精度将不断提高（根据一致性），无限增长记忆方式的根据正在于此。
在实际应用中，常常会因为数据量的加大，而使估计精度下降且远离参数真值。这主要是因为数据饱和现象和系统的时变性引起的。

• 数据饱和现象
  随着观测次数的增加，数据越来越多，以至于新数据所提供的信息被淹没在旧数据的海洋之中，新数据所起的作用也越来越小，算法的修正能力也越来越弱。
  
• 时变参数系统

当出现数据饱和后，最终可能会使 PN失去正定性、对称性，舍入误差将起主导作用，估计值偏离真值越来越大。
时变参数系统是指系统的动态特性随时间变化，即系统参数随时间变化。无限增长记忆的算法对所有的数据都同等地看待，不能反映当前特性的历史数据一直在起作用，而反映当前特性的新数据却起不到足够的作用。因此，应采取措施去除历史旧数据的影响，同时加重新数据的份量。
可采用加权最小二乘法来解决以上问题

7.1、渐消记忆的最小二乘递推算法

由于历史数据向前按指数衰减，所以又叫做加指数窗的最小二乘法。
渐消记忆的最小二乘法常用于自适应控制系统，当u=1时，就退化成了无限增长记忆的最小二乘法。

7.2、限定记忆的最小二乘递推算法

渐消记忆的最小二乘法旧数据的影响有所减弱，但始终都在起作用。
限定记忆的最小二乘法(Fixed Memory Least Squares Method) 总是使用最近N组观测数据，每次估计时，当添入一组新的观测数据时，就丢弃一组最老的数据。因此，也叫做加矩形窗的最小二乘法。这种算法更适合于时变系统和克服数据饱和。




限定记忆最小二乘法有效地割断了历史数据的影响，因此，更有利于克服数据饱和现象，更适用于时变参数系统。
但是数据限定长度N的选择，只能根据经验，不同的数据长度N，会直接影响到估计的精度。

八、最小二乘法的局限性

最小二乘法具有很多优点：
⑴ 适用范围广，适用于动态或静态、线性或非线性、定常或时变系统；
⑵ 可离线辩识，也可在线辨识；
⑶ 将被辨识系统完全视为黑箱，不需要验前知识，不需要观测数据提供概率统计方面的信息；
⑷ 方法简单，易于实现。

对于ARX模型，最小二乘法的估计值具有无偏性、一致性和有效性。是一种非常好的参数估计方法。
实际工程中，被辨识对象是否都可以描述成ARX模型，如果不是，最小二乘法还能不能使用?