深度学习**函数深入浅出通俗易懂教你如何选择合适的**函数

图看不懂不要紧，把文章看完就肯定理解了。这是一个方便总结的图

1 概述

本文会介绍六种**函数，并且比较他们的区别。

1.1 梯度消失问题

$w^{(L)} = w^{(L)} - learning rate \times \frac{\partial C}{\partial w^{(L)}}$

当 $\frac{\partial C}{\partial w^{(L)}}$ 很小的时候，就会出现梯度消失的问题，其中许多权重和偏置只能收到非常小的更新。
而且不同层的学习速率不同，隐藏层n的学习速率会高于隐藏层n-1。这意味着后面的层几乎肯定会被网络中更前面的层受到更多的优待。
同样的会出现梯度爆炸的案例。

2 Sigmoid

$sigmoid(x) = \frac{1}{1+e^{-x}}$
sigmoid这样的函数会遇到严重的梯度消失问题，这个问题使得sigmoid函数在神经网络中并不实用，我们应该用后面介绍的其他**函数。

3 ReLU整流线性单元

$ReLU(X) = max(0,x)$

这个是为了解决梯度消失的问题
会出现死亡ReLU问题，计算梯度的时候大多数值都小于0，我们会得到相当多不会更新的权重和偏置。
但是死亡ReLU可以带来稀疏性，因为神经网络**矩阵会有很多0，所以计算成本和效率优化。
但是ReLU不能避免梯度爆炸问题

4 ELU指数线性单元

$ELU(x) = \left\{ \begin{aligned} x \quad ifx>0\\ \alpha(e^x-1) \quad if x < 0 \end{aligned} \right.$
$\alpha \in [0.1,0.3]$ 这是经验结论

因为引入了指数，所以ELU的计算成本高于ReLU
能避免死亡ReLU问题
神经网络不学习 $\alpha$ 值
不能解决梯度爆炸问题

5 Leaky ReLU渗漏型整流线性单元

$LReLU(x) = \left\{ \begin{aligned} x \quad x>0\\ \alpha x \quad x<0 \end{aligned} \right.$
$\alpha \in [0.1,0.3]$

避免死亡ReLU问题
运算速度快于ELU
无法避免梯度爆炸问题
神经网络不学习 $\alpha$ 值
微分后，两部分都是线性的，ELU一部分是线性一部分是非线性的。

6 SELU扩展型指数线性单元**函数

$SELU(x) = \lambda\left\{ \begin{aligned} x \quad x>0\\ \alpha (e^x-1) \quad x<0 \end{aligned} \right.$
$\alpha=1.673263....$
$\lambda=1.0507009...$

SELU可以对神经网络进行子归一化，其输出值为均值为0，标准差为1.。内部归一化比外部归一化快，这意味着网络可以更快的收敛
不可能出现梯度爆炸或者消失的问题
相对较新，需要更多论文比较性的探索其在CNN和RNN等架构中的应用
使用SELU在CNN中应用的论文

7 GELU高斯误差线性单元**函数

GELU在最近的Transformer模型（谷歌的BERT和OpenAI的GPT-2）中得到了应用
$GELU(x) = 0.5x(1+\tanh(\sqrt{2/\pi}\times(x+0.044715x^3)))$
这个函数的图形非常有意思：
深度学习**函数深入浅出通俗易懂教你如何选择合适的**函数
微分函数非常复杂，在此不做赘述。

在NLP领域最佳，在Transformer模型中表现最好。
避免梯度消失问题
相当新颖的一个**函数

如果有能力的小伙伴请看下面这篇进阶版本哦！
有数学基础像更深研究的朋友点这里看这个博文

深度学习**函数 深入浅出 通俗易懂 教你如何选择合适的**函数