李宏毅机器学习笔记1：Regression
损失函数
梯度下降
- 随机初始化起始位w0
- 在w0处对损失函数求导（偏导）
- w1=w0-学习率*w0处的倒数
- 一直重复计算，直到导数为0，或者达到最大迭代次数。
Generalization
- 泛化 (generalization) 是指神经网络对未在训练 (学习) 过程中遇到的数据可以得到合理的输出。
- 使真实数据的误差更小。
- 一个更复杂的模型可以使训练集上的误差更小，但是不一定能使测试集上的误差也更小（过泛化）
- 损失函数+很小的wi，可以使预测的函数曲线更加平滑。
- 多平滑？????的选择。
- ????越大，越平滑，在训练集上的误差越小。
- 不能太过平滑。
考虑更多参数的模型
- 指示函数：取真为1，假为0.