最常用**函数公式（更新中）

最常用**函数公式

如需转载，请务必标明出处及作者信息：@洋石灰儿 @https://blog.****.net/Yshihui/article/details/80540070

（1）what and why

直观的作用就是进行非线性操作，将输入信号input线性加权，再进行非线性操作。
神经网络模拟生物神经元的工作原理，人工神经元的工作是将神经质传输到突出，突出将各个神经质进行进一步操作，权衡后再向下一个神经元传输神经质。可以自行查询生物神经元的工作原理。
**函数的性质：
1. 非线性——从后面的各个**函数的公式可以明显看出。原因是：层神经网络向下一层神经网络传递信息时，如果是线性处理，则层和层等价于一层神经网络，从而失去神经元传递的意义。非线性操作——模拟生物神经元工作原理。
2. 可微性——进行优化时常利用梯度进行方向优化。
3. 单调性——单调性保证单层神经网络的单调性，从而保证输入和输出之间的单调性关系（参考链式法则）。
4. 输出范围——当**函数输出值是有限的时候，基于梯度的优化方法会更加稳定，因为特征的表示受有限权值的影响更显著；当**函数的输出是无限的时候，模型的训练会更加高效，不过在这种情况小，一般需要更小的learning rate。

（2）常用**函数

sigmoid，tanh，ReLU，LReLU，PReLU，RReLU，ELU，Cost Function，Maxout，Softplus，Softsign

1.sigmoid

s i g m o i d (x) = \frac{1}{1 + e^{- x}}

2.tanh

t a n h (x) = \frac{e^{x} - e^{- x}}{e^{x} + e^{- x}} = \frac{e^{2 x} - 1}{e^{2 x} + 1}

3.ReLU

y = {\begin{cases} x, & if x \geq 0 \\ 0, & if x < 0 \end{cases}

4.LReLU——PReLU

y_{i} = {\begin{cases} x_{i}, & if (x_{i} > 0) \\ a_{i} x_{i}, & if (x_{i} \leq 0) \end{cases}

5.RReLU

y_{j i} = {\begin{cases} x_{j i}, & if x_{j i} \geq 0 \\ a_{j i} x_{j i}, & if x_{j i} < 0 \end{cases} a_{j i} \sim U (l, u) l < u, a n d l, u \in [0, 1)

6.softmax

θ (z)_{i} = \frac{e^{z_{i}}}{\sum_{k = 1}^{K} e^{z_{k}}}

7.ELU

y = {\begin{cases} x, & if x \geq 0 \\ a (e^{x} - 1), & if x < 0 \end{cases} a > 0

8.Cost Function——Softmax + Cross Entropy

9.Maxout

Maxout可以看做是在深度学习网络中加入一层**函数层,包含一个参数k.这一层相比ReLU,sigmoid等,其特殊之处在于增加了k个神经元,然后输出**值最大的值.

我们常见的隐含层节点输出：

$h_{i} (x) = s i g m o i d (x^{T} W_{\dots i} + b_{i})$

而在Maxout网络中，其隐含层节点的输出表达式为：

$h_{i} (x) = m a x_{j \in [1, k]} z_{i j}$

其中 $z_{i j} = x^{T} W_{\dots i j} + b_{i j}, W \in R^{d \times m \times k}$

以如下最简单的多层感知器(MLP)为例:

最常用**函数公式（更新中）

假设网络第i层有2个神经元x1、x2，第i+1层的神经元个数为1个.原本只有一层参数,将ReLU或sigmoid等**函数替换掉,引入Maxout,将变成两层参数,参数个数增为k倍.与常规**函数不同的是,它是一个可学习的分段线性函数.

然而任何一个凸函数，都可以由线性分段函数进行逼近近似。其实我们可以把以前所学到的**函数：ReLU、abs**函数，看成是分成两段的线性函数，如下示意图所示：

最常用**函数公式（更新中）

实验结果表明Maxout与Dropout组合使用可以发挥比较好的效果。

那么,前边的两种ReLU便是两种Maxout,函数图像为两条直线的拼接, $f (x) = m a x (w_{1}^{T} x + b_{1}, w_{2}^{T} x + b_{2})$ .

10.Softplus

f (x) = l o g (e^{x} + 1)

11.Softsign

f (x) = \frac{x}{| x | + 1}

sigmoid，tanh，ReLU，LReLU，PReLU，RReLU，ELU，Cost Function，Maxout，Softplus，Softsign

如需转载，请务必标明出处及作者信息：@洋石灰儿 @https://blog.****.net/Yshihui/article/details/80540070

参考：

https://zhuanlan.zhihu.com/p/26122560

https://blog.****.net/yshihui/article/details/80444353

https://www.jianshu.com/p/22d9720dbf1a

https://www.cnblogs.com/rgvb178/p/6055213.html

https://www.cnblogs.com/makefile/p/activation-function.html

https://zhuanlan.zhihu.com/p/22142013

最常用**函数公式（更新中）