BatchNormalization、LayerNormalization区别
将输入的图像shape记为[N, C, H, W]，区别就是在：
- batchNorm是在batch上，对NHW做归一化，对小batchsize效果不好；
- layerNorm在通道方向上，对CHW归一化，主要对RNN作用明显；
在上图中每个颜色表示一个训练样本，每个样本都有自己的长度。BN是按与y轴平行的方向计算统计量（即[N,T]）。由于BN中每个样本的长度都不一样，计算的 均值 和 方差 时就会非常不具有代表性，当t>3时，我们只能获得来自第二个样本的一个统计量，那么此时的均值和方差已经没有意义。