# 多层神经网络BP算法解释 ## 前向传播 *** * 该项目采用反向传播算法描述了多层神经网络的教学过程。 为了说明这个过程，使用了具有两个输入和一个输出的三层神经网络，如下图所示:

---

• 每个神经元由两个单元组成。
• 第一单元添加权重系数和输入信号的乘积。
• 第二个单元实现非线性功能，称为神经元**功能。
• 信号 e$e$ 是加法器输出信号.
• y=f(e)$y=f(e)$ 是非线性元件的输出信号。
• 信号 y$y$ 也是神经元的输出信号。

---

• 训练数据由（期望输出）z$z$ 和输入信号 x1$x_1$ 和 x2$x_2$ 组成。
• 神经网络训练是一个迭代过程。 在每次迭代中，使用来自训练数据集的新数据来修改节点的权重系数 w$w$。
• 使用下面描述的算法计算修改：每个教学步骤从强制来自训练集的两个输入信号开始。 在此阶段之后，我们可以确定每个网络层中每个神经元的输出信号值。
• 下面的图片说明了信号如何通过网络传播，符号w（xm）n$w_{（xm）n}$表示输入层中网络输入xm$xm$和神经元n$n$之间的连接权重。 符号yn$y_n$表示神经元n$n$的输出信号。

* 其中 f()$f()$函数可以是 sigmod$sigmod$ 函数 /div> *** * 通过隐藏层传播信号。 * 符号wmn$w_{mn}$表示下一层中神经元m$m$的输出与神经元n$n$的输入之间的连接的权重。 ## BP网络 *** * 将神经网络的输出信号y^$\hat{y}$与在训练数据集中找到的真实值（y$y$）进行比较。 该差异被称为输出层神经元的误差信号δ$\delta$。 与下图片对应关系为 y=z$y=z$ ,y^=y$\hat{y}=y$

---

• 无法计算直接计算隐藏层的真实值和误差，因为该过程在实际生产中不存在，或不可得。

• 为此，八十年代中期，提出了 BP算法

  ---

• 上一条是重点，重点，重点。

• 注意 下图公式有误 ，正确表达为
• δ4=w46∗δ∗df6(e)de=−w46∗δ∗y^∗(1−y^)$${\delta }_4=w_{46}\ast \delta \ast \frac{\mathrm{d}{f}_6(e)}{\mathrm{d}e}=-w_{46}\ast \delta \ast \hat{y}\ast (1-\hat{y})$$
• 其他的同类表达式也需要类似的修改，请注意。
• 对于有多条边连接的节点，δ$\delta$为每条边结果的和。

---

---

• 获得每个神经元的误差信号后，可以利用误差来修改每个神经元输入节点的权重系数。
• 下面的公式
  
  ∂(δ2)∂e=∂(y−y^)2∂e=−(y−y^)∗y^∗(1−y^)$$\frac{\mathrm{\partial }({\delta }^2)}{\mathrm{\partial }e}=\frac{\mathrm{\partial }(y-\hat{y}{)}^2}{\mathrm{\partial }e}=-(y-\hat{y})\ast \hat{y}\ast (1-\hat{y})$$
  
  表示神经元**函数的导数     残差   。
• δ2${\delta }^2$即为   损失函数
• 又因为对dedθ$\frac{\mathrm{d}e}{\mathrm{d}\theta }$有
• dedθ=∂θTx∂θ=x$$\frac{\mathrm{d}e}{\mathrm{d}\theta }=\frac{\mathrm{\partial }{\theta }^{T}x}{\mathrm{\partial }\theta }=x$$
• 由于链式法则：

• ∂(δ2)∂θ=∂(y−y^)2∂ededθ=−(y^−y)∗y^∗(1−y^)∗x=−δ∗y^∗(1−y^)∗x$$\frac{\mathrm{\partial }({\delta }^2)}{\mathrm{\partial }\theta }=\frac{\mathrm{\partial }(y-\hat{y}{)}^2}{\mathrm{\partial }e}\frac{\mathrm{d}e}{\mathrm{d}\theta }=-(\hat{y}-y)\ast \hat{y}\ast (1-\hat{y})\ast x=-\delta \ast \hat{y}\ast (1-\hat{y})\ast x$$

• y^$\hat{y}$ 表示输出值

• y$y$ 表示真实值
• x$x$代表上一层的输出或者原始的输入
• δ$\delta$ 表示误差 这里用到了上一节BP中的假设
• 通过这部分化简，我们利用误差δ$\delta$代替了的y−y^$y-\hat{y}$ 从而避开了隐藏层中的未知量y$y$
• 最后利用标准的* 梯度下降公式*:
  
  w^=w−η∗∇=w+η∗δ∗y^∗(1−y^)∗x=w+η∗δ∗∂y∂e∗x$$\hat{w}=w-\eta \ast \mathrm{\nabla }=w+\eta \ast \delta \ast \hat{y}\ast (1-\hat{y})\ast x=w+\eta \ast \delta \ast \frac{\mathrm{\partial }y}{\mathrm{\partial }e}\ast x$$

---

---

转载请注明出处，****的markdown还是很迷的。

参考

参考资料来源