**函数层

分类: 文章 • 2025-07-07 22:58:22

**函数层
饱和函数：sigmoid\tanh
（饱和函数应该是说输入达到一定的值以后，输出就不再变化了，饱和了）

梯度消失没有sigmoid那么严重，但是如果在几十上百层的网络上，又会变的不明显
非饱和函数ReLU

负半轴会导致神经元死亡
**函数层