BN算法 批量归一化算法
1. BN算法的过程
2015年的论文《Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift》
思想：给每层神经网络的输出做一个归一化，归一化过程的参数由网络训练产生。
2. BN算法的好处
- 可以增加训练速度，防止过拟合：如果没有归一化，每一层训练后的数据分布都不同，网络需要更大的开销去学习新的分布，造成网络模型更加复杂，因此容易发生过拟合，网络收敛也比较慢。
- 可以避免**函数进入非线性饱和区，从而造成梯度弥散问题
- 由于因为BN具有提高网络泛化能力的特性，可以减少了你可以移除dropout比例和正则化参数，减少繁琐的调参。
- 可以省LRN局部归一化层。