多层感知机BP算法推导

前向计算

含有数据输入层，1个以上隐藏层，1个输出层。各层神经元之间全连接，同一层的神经元之间无连接。

在图中，$z^{(l)}=W^{(l)}\cdot a^{(l-1)}+b^{(l)}\\ a^{(l)}=f^{(l)}(z^{(l)})$z(l)=W(l)⋅a(l−1)+b(l)a(l)=f(l)(z(l))
其中$f(\cdot)$f(⋅)是激励函数，$a$a是该层的输出值
变量关系：
$z^{1}=g_{1}(x,W^{1})\\ z^{2}=g_{2}(z^{1},W^{2})\\ \cdots\\ z^{l-1}=g_{l-1}(z^{l-2},W^{l-1})\\ z^{l}=g_{l}(z^{l-1},W^{l})\\ z^{l+1}=g_{l+1}(z^{l},W^{l+1})\\ \cdots\\ z^{L}=g_{L}(z^{L-1},W^{L})\\ y=f_{L}(z^{L})\\ J(W,y)$z1=g1​(x,W1)z2=g2​(z1,W2)⋯zl−1=gl−1​(zl−2,Wl−1)zl=gl​(zl−1,Wl)zl+1=gl+1​(zl,Wl+1)⋯zL=gL​(zL−1,WL)y=fL​(zL)J(W,y)
变量依赖：
$J(W,y)$J(W,y)与$x$x的依赖关系：$J(W,y)=J(f(g_{L}(...g_{2}(g_{1}(x,W^{1}),W^{2})...,W^{L}))$J(W,y)=J(f(gL​(...g2​(g1​(x,W1),W2)...,WL))

反向传播

目标是最小化损失函数，通过梯度下降：
$W^{(l)}=W^{(l)}-\alpha \frac{\partial J(W,\bm{b})}{\partial W^{(l)}} =W^{(l)}-\alpha \frac{\partial \frac{1}{N}\sum_{i=1}^{N}J(W,\bm{b};\bm{x}^{(i)},y^{(i)})}{\partial W^{(l)}}\\ \bm{b}^{(l)}=\bm{b}^{(l)}-\alpha \frac{\partial J(W,\bm{b})}{\partial \bm{b}^{(l)}} =\bm{b}^{(l)}-\alpha \frac{\partial \frac{1}{N}\sum_{i=1}^{N}J(W,\bm{b};\bm{x}^{(i)},y^{(i)})}{\partial \bm{b}^{(l)}}$W(l)=W(l)−α∂W(l)∂J(W,b)​=W(l)−α∂W(l)∂N1​∑i=1N​J(W,b;x(i),y(i))​b(l)=b(l)−α∂b(l)∂J(W,b)​=b(l)−α∂b(l)∂N1​∑i=1N​J(W,b;x(i),y(i))​