您的位置: 首页 > 文章 > 深度学习2.0-16.随机梯度下降之反向传播算法推导 深度学习2.0-16.随机梯度下降之反向传播算法推导 分类: 文章 • 2023-03-28 19:22:29 文章目录 1.**函数及其梯度 1.sigmoid/Logistic 2.Tanh-在RNN中使用较多 3.relu-Rectified Linear Unit(整型的线性单元) 2.损失函数及其梯度 1.MSE-Mean Squared Error 2.Cross Entropy Loss softmax 3.单输出感知机及其梯度 4.多输出感知机以及梯度 5.链式法则 6.多层感知机梯度（反向传播算法） 1.**函数及其梯度 1.sigmoid/Logistic 容易出现梯度离散，权值长时间保持不变，未能更新 2.Tanh-在RNN中使用较多 3.relu-Rectified Linear Unit(整型的线性单元) 2.损失函数及其梯度 1.MSE-Mean Squared Error 2.Cross Entropy Loss softmax 3.单输出感知机及其梯度 4.多输出感知机以及梯度 5.链式法则 6.多层感知机梯度（反向传播算法）
