Ng笔记----诊断欠拟合与过拟合 (high bias or high variance)

1.看图

可以看到，如果是处于high bias问题，那么training和test set的cost都会很大

如果是处于high variance问题，那么training set的cost很小，而test set的cost会很大

2. regularization与bias 以及variance的关系

可以看到，当我们将正则项的lambda设的很大时，惩罚项很重，曲线变得所有系数都趋于0，一条横线

而第三个是当lanbda很小的时候，这时候曲线就会过拟合。

一般的做法是使用validation来选择合适的lambda，然后作用在test set上。

我们看看lambda的值对training set与test set的cost的影响曲线：

lambda太小，则出现high variance问题，反之，则出现high bias 问题，只有正好处于中间某个值，才会fit well。

3.Learning Curve

画出Learning Curve有助于让你了解你当前的模型处于bias or variance阶段，便于你调整。

在high bias的情况下，增加样本m的数量，可以看到很快error也不会有太大的变化了，而且training

与validation set的cost都会很大，gap不大。

而对于high variance问题。可以看到，training 与validation set的cost的gap会很大。并且如果增加m

的个数。对模型的cost会有帮助。

4.知道了模型处于bias or variance，接下来可以采取一些措施：

一张图说明一切。