前馈神经网络公式推导

1.神经网络结构

前馈神经网络公式推导

2.神经网络表达力与过拟合

前馈神经网络公式推导
前馈神经网络公式推导

3.传递函数

前馈神经网络公式推导

为什么Relu通常比上述两种**函数强?

前馈神经网络公式推导

4.损失函数

前馈神经网络公式推导

我们来看看交叉熵的本质,不需要了解的童靴可以略过~

前馈神经网络公式推导
S是对y softmax之后的:softmax公式
前馈神经网络公式推导

损失函数J以及对y的求导(在反向传播中会有这步)

前馈神经网络公式推导

5.梯度下降法

前馈神经网络公式推导
前馈神经网络公式推导
前馈神经网络公式推导
前馈神经网络公式推导

6.前馈神经网络前向传播

前馈神经网络公式推导
前馈神经网络公式推导

7.反向传播

反向传播先举了一个例子,进而得到反向传播公式,这个公式一定要背的滚瓜烂熟!!!
前馈神经网络公式推导
前馈神经网络公式推导
前馈神经网络公式推导
前馈神经网络公式推导
前馈神经网络公式推导
前馈神经网络公式推导
最后,必须记住的公式:
前馈神经网络公式推导