吴恩达深度学习--反向传播

反向传播图示

  • 对于一个单隐层的神经网络,它的正向传播与反传播如下。
    吴恩达深度学习--反向传播
    吴恩达深度学习--反向传播

反向传播的向量化表示

dz[2]=A[2]Y

dw[2]=1mdz[2]A[1]T

db[2]=1mnp.sum(dz[2],axis=1,keepdims=true)

dz[1]=w[2]Tdz[2]g[1](z[1])

dw[1]=1mdz[1]xT

db[1]=1mnp.sum(dz[1],axis=1,keepdims=true)

  • 上式中的keepdims=true的含义是确保python的输出是矩阵。g[1]的含义是第一层的**函数。

变量的维度

  • 设一个单隐层的神经网络的输出层、隐含层和输出层的维度分别是:n[0]n[1]n[2]。反向传播各个变量的维度总结如图2所示:
    吴恩达深度学习--反向传播