反向传播算法(Back propagate)隐藏层误差计算

反向传播算法(Back propagate)隐藏层误差计算

关于反向传播的推导已经很多了,理解起来也很简单就是 链式法则
大部分推导主要是输出层隐藏层的计算,这时的误差Error就是简单的输出output标签target的差可以简单记为:E = O - T
至于中间层的Error大多一语带过,
反向传播算法(Back propagate)隐藏层误差计算
这里输出结果有两个,可以得到eo1 和 eo2
设hidden 层 误差为eh1和eh2 ,则:
反向传播算法(Back propagate)隐藏层误差计算
反向传播算法(Back propagate)隐藏层误差计算
用矩阵表示为:
反向传播算法(Back propagate)隐藏层误差计算
我们在计算hidden 层误差时,重要的在于各节点误差所占最终误差eo1和eo2的比例,所以可以将误差记为:
反向传播算法(Back propagate)隐藏层误差计算
这种理解有问题的话希望大家指教。

参考:http://galaxy.agh.edu.pl/~vlsi/AI/backp_t_en/backprop.html
https://www.jianshu.com/p/964345dddb70