LSTM相关资料
- 先附上维基百科介绍
长短期记忆(英语:Long Short-Term Memory,LSTM)是一种时间循环神经网络(RNN)[1],论文首次发表于1997年。由于独特的设计结构,LSTM适合于处理和预测时间序列中间隔和延迟非常长的重要事件。
LSTM的表现通常比时间循环神经网络及隐马尔科夫模型(HMM)更好,比如用在不分段连续手写识别上[2]。2009年,用LSTM构建的人工神经网络模型赢得过ICDAR手写识别比赛冠军。LSTM还普遍用于自主语音识别,2013年运用TIMIT自然演讲数据库达成17.7%错误率的纪录。作为非线性模型,LSTM可作为复杂的非线性单元用于构造更大型深度神经网络。
应用
- 时间序列预测
- 生成文本
- 语音识别
- 自然语言处理
- 情绪预测
多图预警
- RNN 结构和展开示意图
-
和RNN 结构上的比较(左边是原生RNN)
-
RNN内部结构
-
LSTM内部结构
- 学习门
-
遗忘门
-
记忆门
-
应用门
http://colah.github.io/posts/2015-08-Understanding-LSTMs/