LSTM相关资料

  • 先附上维基百科介绍

长短期记忆(英语:Long Short-Term Memory,LSTM)是一种时间循环神经网络(RNN)[1],论文首次发表于1997年。由于独特的设计结构,LSTM适合于处理和预测时间序列中间隔和延迟非常长的重要事件。

LSTM的表现通常比时间循环神经网络及隐马尔科夫模型(HMM)更好,比如用在不分段连续手写识别上[2]。2009年,用LSTM构建的人工神经网络模型赢得过ICDAR手写识别比赛冠军。LSTM还普遍用于自主语音识别,2013年运用TIMIT自然演讲数据库达成17.7%错误率的纪录。作为非线性模型,LSTM可作为复杂的非线性单元用于构造更大型深度神经网络。

应用

  1. 时间序列预测
  2. 生成文本
  3. 语音识别
  4. 自然语言处理
  5. 情绪预测

多图预警

  • RNN 结构和展开示意图

LSTM相关资料

  • 和RNN 结构上的比较(左边是原生RNN)
    LSTM相关资料

  • RNN内部结构
    LSTM相关资料

  • LSTM内部结构

LSTM相关资料

  • 学习门

LSTM相关资料

  • 遗忘门
    LSTM相关资料

  • 记忆门
    LSTM相关资料

  • 应用门

LSTM相关资料

http://colah.github.io/posts/2015-08-Understanding-LSTMs/

附带一张技能导图

LSTM相关资料