李宏毅training DNN（lecturte9-1 ）课堂笔记

 deep learning效果不好，从哪些方面做改进呢？

得到一个神经网络，检查在training data上的表现，好的话检查在testing data上表现。

testing data上表现不好，不一定是过拟合，要结合training data上表现。

改进方法：dropout可以在测试集上取得较好结果

layer越深很可能发生梯度消失问题

引入

采用相当于

Maxout可能能学习选择哪种**函数

原理：        

理解为：（变成relu例子），（变成别的）

优缺点：

maxout可以train吗：（可以，选定之后小的项可以看做忽略），就是这样

变成（就可以gradient descent了）

RMSProp算法核心思想：梯度小的地方步伐大，梯度大的地方步伐小。理论：

momentum理解（类似于物理世界中，引入惯性，绿色箭头就表示惯性下球应该走的方向）

 一般情况下传统梯度下降，momentum下考虑前一次gradient方向

overfitting后怎么可以提高测试集正确率呢？引入验证集，将训练集分组。或者，regularization（正则化）

----------

dropout：

 每次sample丢弃一些参数注意，每次sample神经元不同

注意，测试时没有dropout，并要根据dropout率修改weight值

dropout好处理解只有network是linear时成立