【深度学习笔记整理-6.4】GRU

GRU相比于LSTM运算量小了许多,其中LSTM是SimpleRNN四倍,GRU是三倍。GRU只有更新门和重置门,其中更新门类似将遗忘门和输入门使用这一个门统一调控,重置门会将上一次的记忆重置后投入“信息门”使用。

【深度学习笔记整理-6.4】GRU

更新门

【深度学习笔记整理-6.4】GRU

使用更新门用以调控以往数据遗忘的比例和当下数据的输入比例

重置门

【深度学习笔记整理-6.4】GRU

重置门用来重置上一次的记忆,然后再投入到信息门中形成当下的信息。

整合

【深度学习笔记整理-6.4】GRU

其中【深度学习笔记整理-6.4】GRU类似LSTM中的遗忘门,【深度学习笔记整理-6.4】GRU类似LSTM中的输入门,这两个门同一由更新门调控。

重置门用于重制上一次的记忆,与LSTM中的输出门并不类似,这里不必做强行类比。