标准反向传播推导手稿
神经网络反向传播算法的简单推导手稿，以便日后查阅使用。这篇文章反向传播算法推导写的非常好，一步一步推导计算反向传播，非常值得阅读。另外值得注意的几点：
- BP算法分类标准BP和累积BP，标准BP每次使用一个样本进行正向传播计算误差更新参数，而累积BP算法每次使用整个数据集正向传播，也就是进行m次（m为样本个数）正向传播，累积误差后反向求梯度更新参数。这两者的区别类似于随机梯度下降（stochastic gradient decent）和标准梯度下降的区别。
- 反向传播算法先计算所有节点梯度后更新参数，也就是误差反向传播时，先计算输出层，具体流程如下所示：