您的位置: 首页  >  文章  >  CTR 预测理论（十一）：神经网络**函数优缺点总结

CTR 预测理论（十一）：神经网络**函数优缺点总结

分类: 文章 • 2025-01-04 20:07:40

1. **函数的定义与作用

在人工神经网络中，神经元节点的**函数定义了对神经元输出的映射，简单来说，神经元的输出（例如，全连接网络中就是输入向量与权重向量的内积再加上偏置项）经过**函数处理后再作为输出。加拿大蒙特利尔大学的Bengio教授在 ICML 2016 的文章[1]中给出了**函数的定义：**函数是映射 h:R→R，且几乎处处可导。

神经网络中**函数的主要作用是提供网络的非线性建模能力，如不特别说明，**函数一般而言是非线性函数。假设一个示例神经网络中仅包含线性卷积和全连接运算，那么该网络仅能够表达线性映射，即便增加网络的深度也依旧还是线性映射，难以有效建模实际环境中非线性分布的数据。加入（非线性）**函数之后，深度神经网络才具备了分层的非线性映射学习能力。因此，**函数是深度神经网络中不可或缺的部分。

从定义来看，几乎所有的连续可导函数都可以用作**函数。但目前常见的多是分段线性和具有指数形状的非线性函数。下文将依次对它们进行总结。
CTR 预测理论（十一）：神经网络**函数优缺点总结

2. 背景

深度学习的基本原理是基于人工神经网络，信号从一个神经元进入，经过非线性的activation function，传入到下一层神经元；再经过该层神经元的activate，继续往下传递，如此循环往复，直到输出层。正是由于这些非线性函数的反复叠加，才使得神经网络有足够的capacity来抓取复杂的pattern，在各个领域取得state-of-the-art的结果。显而易见，activation function在深度学习中举足轻重，也是很活跃的研究领域之一。目前来讲，选择怎样的activation function不在于它能否模拟真正的神经元，而在于能否便于优化整个深度神经网络。下面我们简单聊一下各类函数的特点以及为什么现在优先推荐ReLU函数。

3. **函数及优缺点

3.1 Sigmoid函数

σ(x)=11+e−x \sigma(x) = \frac{1}{1 + e^{-x}}

下图展示了 Sigmoid 函数及其导数：

Sigmoid **函数
CTR 预测理论（十一）：神经网络**函数优缺点总结

Sigmoid 导数

CTR 预测理论（十一）：神经网络**函数优缺点总结

Sigmoid函数是深度学习领域开始时使用频率最高的activation function。它是便于求导的平滑函数，其导数为

σ(x)(1−σ(x))\sigma(x)(1- \sigma(x))，这是优点。

优点：

  1. 便于求导的平滑函数；

  2. 能压缩数据，保证数据幅度不会有问题；

  3. 适合用于前向传播。

缺点：

  1. 容易出现梯度消失（gradient vanishing）

  2. Sigmoid 的输出不是 0 均值（zero-centered）

  3. 幂运算相对耗时

Gradient Vanishing:

当**函数接近饱和区时，变化太缓慢，导数接近0，根据后向传递的数学依据是微积分求导的链式法则，当前导数需要之前各层导数的乘积，几个比较小的数相乘，导数结果很接近0，从而无法完成深层网络的训练。

为了防止饱和，必须对于权重矩阵的初始化特别留意。比如，如果初始化权重过大，那么大多数神经元将会饱和，导致网络就几乎不学习。
输出不是zero-centered
Sigmoid函数的输出值恒大于0，这会导致模型训练的收敛速度变慢。举例来讲，对 σ(∑iwixi+b)\sigma(\sum_i w_i x_i + b)，如果所有 xix_i 均为正数或负数，那么其对 wiw_i 的导数总是正数或负数，这会导致如下图红色箭头所示的阶梯式更新，这显然并非一个好的优化路径。深度学习往往需要大量时间来处理大量数据，模型的收敛速度是尤为重要的。所以，总体上来讲，训练深度学习网络尽量使用 zero-centered 数据 (可以经过数据预处理实现) 和zero-centered 输出。
CTR 预测理论（十一）：神经网络**函数优缺点总结
幂运算相对耗时:

相对于前两项，这其实并不是一个大问题，我们目前是具备相应计算能力的，但面对深度学习中庞大的计算量，最好是能省则省)。之后我们会看到，在ReLU函数中，需要做的仅仅是一个thresholding，相对于幂运算来讲会快很多。

3.2 Tanh函数

tanh 表达式：
f(x)=ex−e−xex+e−x f(x) = \frac{e^{x} - e^{-x}}{e^{x} + e^{-x}}
tanh 变形：
tanh(x)=2sigmoid(2x)−1 tanh(x)=2sigmoid(2x)-1

这个变换从图像上可直接得出.

Tanh **函数

CTR 预测理论（十一）：神经网络**函数优缺点总结
Tanh 导数
CTR 预测理论（十一）：神经网络**函数优缺点总结

tanh 读作 Hyperbolic Tangent，tanh 函数将输入值压缩到 -1~1 的范围，**因此它是0均值的，解决了Sigmoid函数的非zero-centered问题，**但是它也存在梯度消失和幂运算的问题。

缺点：

  1. 容易出现梯度消失问题，在饱和时也会「杀死」梯度。
  2. 幂运算相对耗时

3.3 修正线性单元（ReLU）

Relu 表达式：
f(x)={xx >= 00x < 0 f(x) = \begin{cases} x& \text{x >= 0}\\ 0& \text{x < 0} \end{cases}
即：
f(x)=max(0,x) f(x) = max(0, x)

ReLU **函数
CTR 预测理论（十一）：神经网络**函数优缺点总结

ReLU 导数

CTR 预测理论（十一）：神经网络**函数优缺点总结
从上图可以看到，ReLU 是从底部开始半修正的一种函数。

当输入 x<0 时，输出为 0，当 x> 0 时，输出为 x。该**函数使网络更快速地收敛。它不会饱和，即它可以对抗梯度消失问题，至少在正区域（x> 0 时）可以这样，因此神经元至少在一半区域中不会把所有零进行反向传播。由于使用了简单的阈值化（thresholding），ReLU 计算效率很高。

优点：

  • 解决了gradient vanishing问题 (在正区间)
  • 计算速度非常快，只需要判断输入是否大于0
  • 收敛速度远快于sigmoid和tanh

缺点：

  1. ReLU的输出不是zero-centered：

    和 Sigmoid **函数类似，ReLU 函数的输出不以零为中心。

  2. Dead ReLU Problem

    指的是某些神经元可能永远不会被**，导致相应的参数永远不能被更新。有两个主要原因可能导致这种情况产生:

    (1) 不合理的参数初始化，这种情况比较少见 ；

    (2) learning rate太高导致在训练过程中参数更新太大，不幸使网络进入这种状态。

解决方法：

可以采用 Xavier 初始化方法，以及避免将learning rate设置太大或使用 adagrad 等自动调节 learning rate 的算法。

当 x = 0 时，该点的梯度未定义，但是这个问题在实现中得到了解决，通过采用左侧或右侧的梯度的方式。

举个例子：一个非常大的梯度流过一个 Relu 神经元，更新过参数之后，这个神经元再也不会对任何数据有**现象了，如果这种情况发生，那么从此所有流过这个神经元的梯度将都变成 0。
比如对于第一层函数推导：
∂C∂b1=∂C∂y4∂y4∂z4∂z4∂x4∂x4∂z3∂z3∂x3∂x3∂z2∂z2∂x2∂x2∂z1∂z1∂b1=∂C∂y4σ′(z4)w4σ′(z3)w3σ′(z2)w2\frac{\partial C}{\partial b_1} = \frac{\partial C}{\partial y_4}\frac{\partial y_4}{\partial z_4} \frac{\partial z_4}{\partial x_4} \frac{\partial x_4}{\partial z_3}\frac{\partial z_3}{\partial x_3} \frac{\partial x_3}{\partial z_2}\frac{\partial z_2}{\partial x_2}\frac{\partial x_2}{\partial z_1}\frac{\partial z_1}{\partial b_1} = \frac{\partial C}{\partial y_4} \sigma^{\prime}(z_4)w_4\sigma^{\prime}(z_3)w_3\sigma^{\prime}(z_2)w_2
有上述梯度回传公式可以看出，当经过一个非常大的梯度流之后，其 ∂C∂y4\frac{\partial C}{\partial y_4} 很大，即误差较大，造成 ∂C∂b1\frac{\partial C}{\partial b_1} 较大，relu 神经元参数 w, b 更新参数之后变为远小于 0 的负参数，这之后，再前馈传入输入参数，输出 z=wx+bz = wx + b 均为 0，其之后连接的所有

实际操作中，如果你的learning rate 很大，那么很有可能你网络中的40%的神经元都”dead”了。
当然，如果你设置了一个合适的较小的learning rate，这个问题发生的情况其实也不会太频繁。

尽管存在这两个问题，ReLU目前仍是最常用的activation function，在搭建人工神经网络的时候推荐优先尝试！

3.4 Leaky ReLU

CTR 预测理论（十一）：神经网络**函数优缺点总结

Leaky ReLU **函数：

该函数试图缓解 dead ReLU 问题。数学公式为：
f(x)=max(0.1x,x) f(x) = max(0.1x, x)
Leaky ReLU 的概念是：当 x < 0 时，它得到 0.1 的正梯度。该函数一定程度上缓解了 dead ReLU 问题，但是使用该函数的结果并不连贯。尽管它具备 ReLU **函数的所有特征，如计算高效、快速收敛、在正区域内不会饱和。

Leaky ReLU 可以得到更多扩展。不让 x 乘常数项，而是让 x 乘超参数，这看起来比 Leaky ReLU 效果要好。该扩展就是 Parametric ReLU，即 PRelu。

3.5 Parametric ReLU

PReLU 函数的数学公式为：
f(x)=max(ax,x) f(x) = max(ax,x)
其中 α\alpha 是超参数。这里引入了一个随机的超参数 α\alpha ，它可以被学习，因为你可以对它进行反向传播。这使神经元能够选择负区域最好的梯度，有了这种能力，它们可以变成 ReLU 或 Leaky ReLU。

总之，最好使用 ReLU，但是你可以使用 Leaky ReLU 或 Parametric ReLU 实验一下，看看它们是否更适合你的问题。

3.6 ELU (Exponential Linear Units) 函数

CTR 预测理论（十一）：神经网络**函数优缺点总结

ELU也是为解决ReLU存在的问题而提出，显然，ELU有ReLU的基本所有优点，以及：

  • 不会有Dead ReLU问题
  • 输出的均值接近0，zero-centered

它的一个小问题在于计算量稍大。类似于Leaky ReLU，理论上虽然好于ReLU，但在实际使用中目前并没有好的证据ELU总是优于ReLU。

3.7 softmax函数 （也称归一化指数函数）

可以看到，Sigmoid函数实际上就是把数据映射到一个(0,1)的空间上，也就是说，Sigmoid函数如果用来分类的话，只能进行二 分类，而这里的softmax函数可以看做是Sigmoid函数的一般化，可以进行多分类。

Softmax - 用于多分类神经网络输出：

σ(x)=ezj∑k=1Kezk \sigma(x) = \frac{e^{z_j}}{\sum_{k=1}^{K}e^{z_k}}
举个例子来看公式的意思：

CTR 预测理论（十一）：神经网络**函数优缺点总结

为什么要取指数，第一个原因是要模拟 max 的行为，所以要让大的更大。
第二个原因是需要一个可导的函数。

CTR 预测理论（十一）：神经网络**函数优缺点总结

3.7 Maxout

Maxout出现在ICML2013上，作者Goodfellow将maxout和dropout结合后，号称在MNIST, CIFAR-10, CIFAR-100, SVHN这4个数据上都取得了start-of-art的识别率。

Maxout可以看做是在深度学习网络中加入一层**函数层,包含一个参数k.这一层相比ReLU,sigmoid等,其特殊之处在于增加了k个神经元,然后输出**值最大的值.

我们常见的隐含层节点输出：
hi(x)=sigmoid(xTW…i+bi) h_i(x)=\text{sigmoid}(x^TW_{…i}+b_i)
而在Maxout网络中，其隐含层节点的输出表达式为：
fi(x)=maxj∈[1,k]zij f_i(x)=max_{j\in [1,k]}z_{ij}
其中 zij=xTW…ij+bij,W∈Rd×m×kz_{ij}=x^TW_{…ij}+b_{ij}, W\in R^{d\times m\times k}

假设 ww 是 2 维，那么有：
f(x)=max(w1Tx+b1,w2Tx+b2) f(x)=max(w_1^Tx+b_1,w_2^Tx+b_2)

可以注意到，ReLU 和 Leaky ReLU 都是它的一个变形（比如，w1,b1=0​w_1, b_1 = 0​ 的时候，就是 ReLU）.

以如下最简单的多层感知器(MLP)为例:

CTR 预测理论（十一）：神经网络**函数优缺点总结

Maxout**函数

与常规**函数不同的是,它是一个可学习的分段线性函数.

然而任何一个凸函数，都可以由线性分段函数进行逼近近似。其实我们可以把以前所学到的**函数：ReLU、abs**函数，看成是分成两段的线性函数，如下示意图所示：

CTR 预测理论（十一）：神经网络**函数优缺点总结

实验结果表明Maxout与Dropout组合使用可以发挥比较好的效果。

Maxout的拟合能力是非常强的，它可以拟合任意的的凸函数。作者从数学的角度上也证明了这个结论，即只需2个 maxout 节点就可以拟合任意的凸函数了（相减），前提是”隐隐含层”节点的个数可以任意多.

这样 Maxout 神经元就拥有 ReLU 单元的所有优点（线性和不饱和），而没有它的缺点（死亡的ReLU单元）。然而和 ReLU 对比，它每个神经元的参数数量增加了一倍，这就导致整体参数的数量激增。

Maxout **函数特点：

  1. maxout**函数并不是一个固定的函数，不像Sigmod、Relu、Tanh等函数，是一个固定的函数方程

  2. 它是一个可学习的**函数，因为我们 W 参数是学习变化的。

  3. 它是一个分段线性函数：

优点：

  • Maxout的拟合能力非常强，可以拟合任意的凸函数。
  • Maxout具有ReLU的所有优点，线性、不饱和性。
  • 同时没有ReLU的一些缺点。如：神经元的死亡。

缺点：
从上面的**函数公式中可以看出，每个神经元中有两组(w,b)参数，那么参数量就增加了一倍，这就导致了整体参数的数量激增。

详细解释可参考此博客：https://blog.****.net/hjimce/article/details/50414467

4. 小结

建议使用ReLU函数，但是要注意初始化和learning rate的设置；可以尝试使用Leaky ReLU或ELU函数；不建议使用tanh，尤其是sigmoid函数。

参考资料

  1. Udacity Deep Learning Courses

  2. Stanford CS231n Course

  3. **函数(ReLU, Swish, Maxout)

  4. [机器学习] 常用**函数的总结与比较

  5. 一文概览深度学习中的**函数

  6. 【机器学习】神经网络-**函数-面面观(Activation Function)

  7. 常用**函数比较

  8. 深度学习（二十三）Maxout网络学习

相关推荐