神经网络中的前向传播和反向传播理解
前向传播
输入，输出
，缓存为
前向传播的过程：
向量化的过程可以写成：
式中，就是初始的输入X。如下图的两层神经网络所示，可以很好的理解。
反向传播
反向传播主要采用数学上的链式法则，反向传播的公式推导可以总结为4个公式。
输入，输出
，
，
形式转换一下，和上面的式子是等价的，步骤如下：
第5个公式由4式代入1式得到。前4个式子就可以实现反向传播。
写成向量化的形式为：
参考：[1] 吴恩达深度学习课程
输入，输出
，缓存为
前向传播的过程：
向量化的过程可以写成：
式中，就是初始的输入X。如下图的两层神经网络所示，可以很好的理解。
反向传播主要采用数学上的链式法则，反向传播的公式推导可以总结为4个公式。
输入，输出
，
，
形式转换一下，和上面的式子是等价的，步骤如下：
第5个公式由4式代入1式得到。前4个式子就可以实现反向传播。
写成向量化的形式为：
参考：[1] 吴恩达深度学习课程