您的位置: 首页 > 文章 > RNN的反向传播 RNN的反向传播 分类: 文章 • 2023-03-27 12:59:27 RNN模型示例：ht=σ（W(hh)ht-1+W(hx)xt）y^=softmax(W(S)ht) RNN常用Cross Entropy error作为损失函数，在某个时间步t的损失函数（j遍历维度） 在大小为T的corpus上的误差： 反向传播图示 为了计算RNN误差dE/dw，需要把每一个时间步的误差（dEt/dw）进行加和，误差对参数求梯度的公式如下： 注意dht/dhk是指ht对所有先前k个时间步的偏导数
