丢弃法
除了的权重衰减以外，深度学习模型常常使用丢弃法（dropout）来应对过拟合问题。
当对该隐藏层使用丢弃法时，该层的隐藏单元将有一定概率被丢弃掉。设丢弃概率p，那么有p的概率hi会被清零，有1−p的概率hi会除以1−p做拉伸。丢弃概率是丢弃法的超参数。具体来说，设随机变量ξi为0和1的概率分别为p和1−p。使用丢弃法时我们计算新的隐藏单元h′i
由于E(ξi)=1−pE
即丢弃法不改变其输入的期望值。让我们对图3.3中的隐藏层使用丢弃法，一种可能的结果如图3.5所示，其中h2和h5被清零。
图3.3
图3.5
测试模型时，我们为了拿到更加确定性的结果，一般不使用丢弃法。
