**函数学习
参考
知乎：
深度学习基础篇：如何选择正确的**函数？ https://zhuanlan.zhihu.com/p/30510596
这里有点问题，死神经永远不会被**吗？
如何选择正确的**函数？
现在我们已经了解了这么多的**函数，接下来就需要分析在哪种情况下应该使用哪种**函数了。**函数好或坏，不能凭感觉定论。然而，根据问题的性质，我们可以为神经网络更快更方便地收敛作出更好的选择。
- 用于分类器时，Sigmoid函数及其组合通常效果更好。
- 由于梯度消失问题，有时要避免使用sigmoid和tanh函数。
- ReLU函数是一个通用的**函数，目前在大多数情况下使用。
- 如果神经网络中出现死神经元，那么PReLU函数就是最好的选择。
- 请记住，ReLU函数只能在隐藏层中使用。（为什么只能用在隐藏层中？）
一点经验：你可以从ReLU函数开始，如果ReLU函数没有提供最优结果，再尝试其他**函数。
这一篇写的很好
[Deep Learning] 常用的Active functions & Optimizers https://www.cnblogs.com/maybe2030/p/9220921.html