您的位置: 首页 > 文章 > 北京大学Tensorflow2.0笔记 北京大学Tensorflow2.0笔记 分类: 文章 • 2023-11-02 13:04:40 **函数 目前很少用这个**函数，因为在深度神经网络中更新参数时需要从输出层到输入层逐层进行链式求导，而sigmoid函数倒数值为0-0.25之间，链式求导需要多层导数连续相乘，会出现多个0-0.25之间的连续相乘，结果趋于零，产生梯度消失，无法进行参数更新 使用中应避免负数特征进入RELU函数，否则会导致神经元死亡 过拟合的解决方法：L1正则化和L2正则化
