LSTM理解
from 博客
在rnn中存在梯度消失和梯度爆炸的问题。
梯度爆炸解决办法： 上图
梯度爆炸解决办法：引入lstm
一、LSTM(Long-Short Term memory)的结构
二、计算值说明
ft：forget gate
it： input gate
Ct^：input
Ct:：向下一个cell state传递 cell state
Ot：out put，如果是单层lstm，就是输出;如果是多层lstm，就是向上一层传递
ht：向下一个cell state传递
三、多层加Dropout
同层向后传递 ht和ct
不同层向上传递ht