长短期记忆网络LSTM的变体

1.peephole connection

Gers & Schmidhuber 于2000年提出,增加了peephole connection,变化是门(包括遗忘门,输入门)都可以接受上一个细胞(神经元)的输入

在上面这个原始的LSTM的细胞/神经元的网络结构图中.演化为下面这种结构,这个结构图的三条红线使得每个门都可以接收,上一个细胞的状态,修改过后的计算公式如下

 其中,h(t-1)是上一个时刻的隐藏层状态,x(t)是本时刻的细胞或者神经元的输入,f(t-1),i(t),o(t)分别表示,忘记门,输入门,输出门.

2. 耦合(coupled)遗忘和输入单元

我们都知道,原始的LSTM网络将遗忘门和更新的过程是分开的,但是这种LSTM网络将遗忘门和新记忆两个过程结合起来,即只遗忘那些有新元素来填充的元素.

 

而且,相应的更新公式也要发生变化.

3 门循环单元(Gated Recurrent Unit,GRU)

Cho等人于2014年提出,其混合了长期状态和隐藏状态

 GRU只有两个门:重置(Reset)门和更新门(update),取消了LSTM中的输出门.R和Z共同控制了如何从之间隐藏状态计算获得新的隐藏状态.重新的计算公式

相关论文:Cho K,Van Merrienboer B,Gulcehre C,et al. Learning Phrase Representations using RNN Encoder-Decoder for Statistical Machine Translation[J]. Eprint Arxiv, 2014