吴恩达深度学习--**函数

四种常用的**函数

（1）sigmoid函数

• 函数的表达式为：a=11+e−z$a=\frac{1}{1+e^{-z}}$
• 导函数：g′(z)=a(1−a)$g^{{}^{\prime }}(z)=a(1-a)$

(2)tanh函数

- 函数的表达式为：a=ez−e−zez+e−z$a=\frac{e^z-e^{-z}}{e^z+e^{-z}}$
- 导函数：g′(z)=1−a2$g^{{}^{\prime }}(z)=1-a^2$

（3）ReLU函数

- 函数的表达式为：a=max(0,z)$a=max(0,z)$
- 导函数：

- 当z=0时是不可导的，此时区导数为0或者1即可。

（4）Leaky ReLU

- 函数的表达式为：a=max(0.01z,z)$a=max(0.01z,z)$。这里可以写0.02z，0.01z只是举个栗子，目的是让ReLU函数在自变量小于0的时候有一定的斜率。
- 导函数：

四种**函数的应用与比较

• （1）相比于sigmoid函数，tanh函数几乎在所有场合都更优越。
• （2）sigmoid函数用在二元分类的输出层。
• （3）默认的**函数是ReLU函数，当不确定**函数用哪个时，可以选择ReLU函数。
• （4）Leaky ReLu函数的效果比ReLU要好，但是ReLU函数更常用。
• （5）使用ReLU函数和Leaky ReLU的好处是：神经网络的学习速度比tanh函数或者sigmoid函数会快的多。
• （6）sigmoid函数和tanh函数的缺点是：当z特别大或者特别小时，导数的梯度（函数的斜率）就会很小。