Coursera Deeplearning.ai「深度学习」课程笔记L4.W2深度卷积神经网络:实力探究

1 - 残差网络(Residual Networks (ResNets))

Coursera Deeplearning.ai「深度学习」课程笔记L4.W2深度卷积神经网络:实力探究
如上图所示,xx表示输入,F(x)F(x) 表示残差块在第二层**函数之前的输出,即 F(x)=W2σ(W1x)F(x)=W_2\sigma(W_1x),其中 W1W_1W2W_2 表示第一层和第二层的权重,σ\sigma 表示 ReLU **函数(这里省略了 bias)。最后残差块的输出是 σ(F(x)+x)\sigma(F(x)+x)