吴恩达deeplearning.ai《神经网络和深度学习》-深层神经网络(四)

为什么要使用深层神经网络

电路定理来解释:

如果使用多层神经网络,计算上面的x1 XOR x2 …,其算法的复杂度为O(logn)
使用单层神经网络,其算法的复杂度为O(2n
吴恩达deeplearning.ai《神经网络和深度学习》-深层神经网络(四)

搭建深层神经网络块

向前传播和向后传播如何计算
吴恩达deeplearning.ai《神经网络和深度学习》-深层神经网络(四)
吴恩达deeplearning.ai《神经网络和深度学习》-深层神经网络(四)

前向和反向传播

前向传播公式

吴恩达deeplearning.ai《神经网络和深度学习》-深层神经网络(四)

反向传播公式

吴恩达deeplearning.ai《神经网络和深度学习》-深层神经网络(四)
吴恩达deeplearning.ai《神经网络和深度学习》-深层神经网络(四)

参数VS超参数

超参数能决定W,b的值。我们目前有很多的超参数,如:

learning rate
iterations
number of hidden layers
number of hidden units
choice of activation
momentum
mini batch size
regularization parameters
吴恩达deeplearning.ai《神经网络和深度学习》-深层神经网络(四)