常用**函数及其优缺点

常用**函数及其优缺点
常用的**函数包括sigmoid、tanh、ReLu、Leaky ReLU等，其中sigmoid、tanh存在饱和区间，在反向传播时容易导致梯度消失的问题，而ReLU函数不存在饱和区间，有效避免了梯度消失的问题，但是由于ReLU函数在小于0的区间内输出为0，当反向传播时会导致部分神经元失活的问题，Leaky ReLU在继承了ReLU函数优点的基础上，在小于0的区间上增加了一个极小的斜率，有效避免了神经元失活的问题