RNN和LSTM

1、RNN

单层RNN图形表示:

RNN和LSTM

单层RNN数学形式:

RNN和LSTM

多层RNN图形表示:

RNN和LSTM

2、LSTM

长短记忆,门操作。

标准RNN:

RNN和LSTM

LSTM:

增加记忆向量C。

RNN和LSTM

第一个门:控制以前的记忆保留多少。

RNN和LSTM

第二个门:控制新的输入取多少,新的输入的重要程度。

RNN和LSTM

输出新的记忆向量Ct。

RNN和LSTM

第三个门:控制Ct有多少进入ht输入下一个神经元。

RNN和LSTM