您的位置: 首页 > 文章 > 关于梯度消失/爆炸理解 关于梯度消失/爆炸理解 分类: 文章 • 2023-01-06 12:12:07 深度神经网络中的梯度不稳定性，前面层中的梯度或会消失，或会爆炸。 1. 梯度不稳定问题 根本原因在于前面层上的梯度是来自于后面层上梯度的乘积。当存在过多的层次时，就出现了内在本质上的不稳定场景。 梯度消失 梯度爆炸 所以可以使用Relu()函数 f(x) = max(0,x)
