2.3优化（optim）
2.3 优化（optim）
2.3.1&2.3.2 最小二乘法（Least Squares）
加权最小二乘法（WLS(Weighted Least Squares)）：
一般最小二乘法将时间序列中的各项数据的重要性同等看待，而事实上时间序列各项数据对未来的影响作用应是不同的。一般来说，近期数据比起远期数据对未来的影响更大。因此比较合理的方法就是使用加权的方法，对近期数据赋以较大的权数，对远期数据则赋以较小的权数。加权最小二乘法采用指数权数Wn-i，0<W<1，加权以后求得的参数估计值应满足：
以直线模型 为例，其加权的剩余平方和为：
对上式分别求a和b的偏导数，得到标准方程组：
对上述方程解出a和b，就得到加权最小二乘法直线模型。应用加权最小二乘法，W的取值不同，解出的a，b也不同，因此W值取多少，需要经分析后确定。
迭代重加权最小二乘法（IRLS(Iterative Reweighted Least Squares)）
IRLS用于解决这种目标函数的优化问题（实际上是用2范数来近似替代p范数，特殊的如1范数）。
可将其等价变形为加权的线性最小二乘问题：
其中W（t）可看成对角矩阵，每步的w可用下面的序列代替：
如果 p=1,则将w(t)换为这种形式：
有时为了保证分母不为零，加上了一个比较项：