三层神经网络前向后向传播示意图

转载自:http://blog.****.net/zhangjunhit/article/details/53501680   多谢版主

BP 神经网络信号前向后向传播示意图

主要参考博文 BP神经网络后向传播算法

本文主要分析下面的三层神经网络的信号传播,两个输入,两个隐层,一个输出

三层神经网络前向后向传播示意图

网络中每个紫色模块是一个神经元,它包括信号输入求和,求和后的信号再经过**函数处理(一般是非线性**函数),得到输出 
三层神经网络前向后向传播示意图

下面开始训练网络的流程,训练网络首先需要训练数据,对于我们这里的网络,训练数据为若干组 (x1,x2)及对应的期望输出 z 。

我们首先来进行前向信号传播计算,其中第一隐层计算如下:

三层神经网络前向后向传播示意图

三层神经网络前向后向传播示意图

三层神经网络前向后向传播示意图

第二隐层计算如下:

三层神经网络前向后向传播示意图

三层神经网络前向后向传播示意图

输出层的信号计算如下:

三层神经网络前向后向传播示意图

下面开始误差后向传播计算,输出层的误差如下

三层神经网络前向后向传播示意图

第二隐层的误差信息计算如下:

三层神经网络前向后向传播示意图

三层神经网络前向后向传播示意图

第一隐层的误差信号计算如下:

三层神经网络前向后向传播示意图

三层神经网络前向后向传播示意图

三层神经网络前向后向传播示意图

最后根据误差信号进行权值更新,如下图所示:

三层神经网络前向后向传播示意图

三层神经网络前向后向传播示意图

三层神经网络前向后向传播示意图

三层神经网络前向后向传播示意图

三层神经网络前向后向传播示意图

三层神经网络前向后向传播示意图