上古**函数之local response normalizatiion

最近因为工作原因，需要写lrn的gpu shader实现，公式如下：

个人觉得lrn只适用于分类网络，且作用不大。
其一，网络在初始训练时，权重都是随机值，产生的特征没有表征意义，对没有表征意义的特征进行抑制或者放大，不合理，除非把公式里的几个超参改进成可训练的，随着网络的训练施加影响。
其二，对于非分类网络，例如图像生成，相邻通道值是不需要放大差距的，例如网络的最后进程，一般一个通道只表示一个或很少的特征，例如背景，值都是相近的