LSTM RNN

Long Short-Term Memory
长短期记忆
RNN 形式之一
RNN是在有序的数据上进行学习的
信息源记忆经过长度跋涉才能最终抵达最后一个时间点
然后,我们可以得到误差,然后反向传递这个误差时,
他在每一步都会乘于一个参数W,如果这个W小于1,那么这个误差传到初始时,就相当于消失了,我们把这个过程叫做梯度消失或者梯度弥散。
反之如果W大于1,不断累成,最后可能会变成一个无穷大的数,RNN就会被这个无穷大的数撑死。我们称之为梯度爆炸。
这就是普通RNN没有办法回忆起久远记忆的原因。
LSTM RNN

LSTM RNN

LSTM RNN

LSTM就是为了解决这个问题而产生的。
LSTM多出了三个控制器,输入控制,输出控制,忘记控制
LSTM RNN