7.2正则化-学习笔记
正则化可以提高单一模型的效果，我们在模型中加入一些成分来防止过拟合。
我们在损坏函数中多加一项，第一项是让模型拟合数据，第二项则是正则项。
L2有可能意义有些不明确，目前常见的正则项的方式是dropout
dropout的道理很简单，我们在每一层的随机层，将一部分的神经元置零，每次正向传播过程中，随机被置零的神经元都不同，每次处理神经元的一层，可以从上图发现，经过dropout后神经网络的大小变小，每次正向传递都是不同部分。
dropout代码实现
dropout意义
我们通过神经网络学习到，猫有两只耳朵一只尾巴等参数，这些特征组合来判断是否是猫，但加入dropout后，判断是否是猫就不能依赖这些特征组合在一起，而是要通过零散的参数来判断，这就避免了过拟合。
另一种解释是，这是一种在单一模型中的集成学习，在经过dropout后，我们是在一个子网络中用所有神经元的子集进行运算，每一种不同的dropout可以产生一个不同的子网络，