Tanh函数

1. 公式

$y = tanh x = sinh x / cosh x = (e^x - e^{-x}) / (e^x + e^{-x})$y=tanhx=sinhx/coshx=(ex−e−x)/(ex+e−x)

2. 定义域&值域

$x \epsilon R; y \epsilon [-1, 1]$xϵR;yϵ[−1,1]

3. 图片

ReLU函数

Rectified Linear Unit，线性整流函数

1. 公式

$f(x) = max(0, x)$f(x)=max(0,x)

2. 定义域

$x \epsilon R; y >= 0$xϵR;y>=0

3. 图片

Leaky ReLU

带泄露线性整流函数

1. 公式

$f(x) = max(0, x) + \lambda * min(0, x)，其中\lambda \epsilon(0, 1)，\lambda被称为泄露斜率$f(x)=max(0,x)+λ∗min(0,x)，其中λϵ(0,1)，λ被称为泄露斜率

2. 定义域

$x \epsilon R; y \epsilon R$xϵR;yϵR

3. 图片

参考：
tanh百度百科
ReLU百度百科
**函数Relu 及 leakyRelu