为什么RNN会比CNN更容易出现梯度消失或爆炸
公式:
输出层
ot表示输出值,输出层是一个全连接层与隐藏层的每一个节点连接,V是输出层的权重矩阵,g表示**函数,
循环层
st 表示隐藏层的值,U是输入的权重矩阵,xt表示输入的值,W是上一时间步st-1作为当前时间步st的输入权重矩阵,f表示**函数,
从上述公式可知:st的值不仅仅取决于输入的x,还取决于st-1
将st带入Ot的计算公式 得:
从上式可知循环网络的输出,和xt,xt-1,xt-3有关,这就是循环网络具有记忆的特性