课程网站：http://speech.ee.ntu.edu.tw/~tlkagk/courses_ML17.html

一、回归的基本步骤

1. 建立模型

        假如是线性模型

2. 评估模型

        建立一个Loss Function，这里试着

        其中，表示真实值，表示预估值。

3. 选择最好的函数——梯度下降

梯度下降的办法：

        1）随机选择一个初始值w0

        2)计算，如果其小于0就要增加w，如果其大于0就要减小w

        3),用这种方法逐步计算出w2、w3、w4…，直到算出当小于阈值为止

        4)如果是多个参数，就多个参数分别求偏导即可。

 

梯度下降容易出现的问题：

        1） 平台效应(plateau)——某一段函数值变化非常缓慢

        2） 鞍点(saddle point)——鞍点处导数为0，但不是极值

        3） 局部极小(local minima)——找到了极值但不是最小值

 

二、模型的阶数

        使用更高的阶数，当然可以使训练集的平均误差越来越小，但是并不一定是正确的，在某个阶数以后会出现过拟合(Overfitting)的现象。

三、其他的因子

      若感觉当前的因子不够，需要增加其它的因子，则需要退回到第一步，重新设计moudle。

      退回到第二步，可以在Loss function中增加项，来调整函数的平滑度，越大，越平滑。