《深度学习Ng》课程学习笔记02week1——深度学习的实用层面
http://blog.****.net/u011239443/article/details/77947043
1.1 训练 / 开发 / 测试集
1.2 偏差 / 方差
低偏差高方差，则表示泛化能力不强，可能过拟合。
高偏差，则表示可能还欠拟合。
1.3 机器学习基础
1.4 正则化
逻辑回归正则化
神经网络正则化
1.5 为什么正则化可以减少过拟合？
对于S类**函数，当W接近与零时，**函数更加趋近于线性函数，所以不会有太复杂的划分：
1.6 Dropout 正则化 1.7 理解 Dropout
更多理解和先参阅：http://blog.****.net/u011239443/article/details/76360294#t49
测试阶段不使用Dropout
1.8 其他正则化方法
增加数据
提早停止
1.9 正则化输入
参阅：http://blog.****.net/u011239443/article/details/76360294#t3
归一化的好处：
1.10 梯度消失与梯度爆炸
1.11 神经网络的权重初始化
初始化权值尽可能的接近于0，梯度下降的速度才能尽可能的快，所以讲初始化乘以一定的系数：
1.12 梯度的数值逼近 1.13 梯度检验 1.14 关于梯度检验实现的注记
基本的数学概念，不记录。
将模型看作关于各个参数函数：
检验：
梯度检验注意项：