双向循环神经网络(BRNN)
双向循环神经网络(BRNN)
RNN和LSTM都只能依据之前时刻的时序信息来预测下一时刻的输出,但在有些问题中,当前时刻的输出不仅和之前的状态有关,还可能和未来的状态有关系。比如预测一句话中缺失的单词不仅需要根据前文来判断,还需要考虑它后面的内容,真正做到基于上下文判断。BRNN有两个RNN上下叠加在一起组成的,输出由这两个RNN的状态共同决定。BRNN结构图如图4所示。
对于每个时刻t
,输入会同时提供给两个方向相反的RNN,输出由这两个单向RNN共同决定。