【傻瓜攻略】深度学习之反向传播(十二)
终于到了反向传播了……写完这个,整体的神经网络差不多就该结束了……✿✿ヽ(°▽°)ノ✿
下面开始:
1.1反向传播的直观理解
反向传播的土味解释就是,将误差一点一点往前向进行传播,从而达到更新权重矩阵的目的。权重矩阵的更新主要就是误差来决定。这里的误差指的是损失函数的值。
偷一张神经网络的图:
以及单个神经元的图:
其反向传播过程为:
至此逐步向前传播误差,对于权重矩阵进行更新即可。整个过程就是反向传播过程。
2.2 反向传播的总结
根据不同的**函数,不同的损失函数,误差传播的公式不同。但整体推导过程大致就是对于更新权重矩阵和偏置矩阵。
其误差总量也分为在线学习和离线学习的不同种。
总体的神经网络可以是多变的。具体反向传播的过程还需要具体分析。