【傻瓜攻略】深度学习之反向传播(十二)

终于到了反向传播了……写完这个,整体的神经网络差不多就该结束了……✿✿ヽ(°▽°)ノ✿

【傻瓜攻略】深度学习之反向传播(十二)

下面开始:

1.1反向传播的直观理解

反向传播的土味解释就是,将误差一点一点往前向进行传播,从而达到更新权重矩阵的目的。权重矩阵的更新主要就是误差来决定。这里的误差指的是损失函数的值。

偷一张神经网络的图:

【傻瓜攻略】深度学习之反向传播(十二)

以及单个神经元的图:

【傻瓜攻略】深度学习之反向传播(十二)

其反向传播过程为:

【傻瓜攻略】深度学习之反向传播(十二)

至此逐步向前传播误差,对于权重矩阵进行更新即可。整个过程就是反向传播过程。

2.2 反向传播的总结

根据不同的**函数,不同的损失函数,误差传播的公式不同。但整体推导过程大致就是对于更新权重矩阵和偏置矩阵。

其误差总量也分为在线学习和离线学习的不同种。

总体的神经网络可以是多变的。具体反向传播的过程还需要具体分析。