BP误差反向传播算法

BP算法

BP算法通过将输出误差反向传播，将误差分配到每个权值上，利用梯度更新对所有参数进行调整以达到输出累计误差最小
BP误差反向传播算法

[图片来自Andrew Ng的machine learning课程]

为了简化概念，先不加上偏置单元
符号介绍
zli :第l层第i节点的误差

zli:第l层第i节点的输入值

ali:第l层第i节点的输出值

wlji:第l−1层第i节点到第l层j节点的权值

h():节点的**函数，如sigmod、tanh等

ml:第l层的节点个数

根据网络图，有以下关系:
ali=h(zli)

zli=∑mljwljial−1j
误差反向传播递推公式以及对任一参数更新推导如下（打符号好慢，直接上手工图片）
BP误差反向传播算法