**函数

将神经网络的输出非线性化的一种函数。

在计算网络中，一个节点的**函数定义了该节点在给定的输入或输入的集合下的输出。

**函数是用来加入非线性因素的，解决线性模型所不能解决的问题。

（所以**函数都是非线性函数，比如最常用的 sigmoid、tanh 和 ReLU）

理解为什么需要**函数引入非线性性：

单层感知机：最常用的神经网络组成单元，用它可以划出一条线, 把平面分割开

那么很容易地我们就会想用多个感知机来进行组合, 获得更强的分类能力

但是，其输出无论如何都还是一个线性方程
但是要是在每一层之后加上一个**函数
那么输出就变成非线性的了
使用非线性**函数前(单位阶跃函数)后(sigmoid 函数)对比如下：

sigmoid

tanh

如上图所示，tanh的形状和sigmoid类似，只不过tanh将“挤压”输入至区间(-1, 1)。因此，中心为零，（某种程度上）**值已经是下一层的正态分布输入了。至于梯度，它有一个大得多的峰值1.0（同样位于z = 0处），但它下降得更快，当|z|的值到达3时就已经接近零了。这是所谓梯度消失（vanishing gradients）问题背后的原因，会导致网络的训练进展变慢。

ReLU

ReLU处理了它的sigmoid、tanh中常见的梯度消失问题，同时也是计算梯度最快的激励函数。
如上图所示，ReLU是一头完全不同的野兽：它并不“挤压”值至某一区间——它只是保留正值，并将所有负值转化为零。使用ReLU的积极方面是它的梯度要么是1（正值），要么是0（负值）——再也没有梯度消失了！这一模式使网络更快收敛。另一方面，这一表现导致所谓的“死亡神经元”问题，也就是输入持续为负的神经元**值总是为零。

感知机、 logistic regression 和 SVM的联系与区别

感知机

感知器是最简单的一种线性分类器，用f(x)表示分类函数，感知器可以如下来表示。

f(x)=sign(ωTx+b)

感知器相当于一个阶跃函数，如下图所示，在0处有一个突变。
损失函数：
L=−y(wTx+b)

logistic regression

f(x)=sigmoid(ωTx+b)，也即：

损失函数：
log(1+exp(−y(wTx+b)))

SVM

区别与联系

三者都是线性分类器，而logistic和svm是由感知器发展改善而来的。区别在于三者的损失函数不同，后两者的损失函数的目的都是增加对分类影响较大的数据点的权重，SVM的处理方法是只考虑support vectors，也就是和分类最相关的少数点，去学习分类器。而逻辑回归通过非线性映射，大大减小了离分类平面较远的点的权重，相对提升了与分类最相关的数据点的权重。

参考：
1.神经网络激励函数的作用是什么？有没有形象的解释？
https://www.zhihu.com/question/22334626
2.感知器、logistic与svm 区别与联系
https://blog.****.net/m0_37786651/article/details/61614865