RNN算法详解

一、起因

DNN无法对时间序列上的变化进行建模。然而,样本出现的时间顺序对于自然语言处理、语音识别、手写体识别等应用非常重要。为了适应这种需求,就出现了大家所说的另一种神经网络结构——循环神经网络RNN。

二、定义

1.RNN图像定义

RNN算法详解

2.双向RNN的图像定义

RNN算法详解

三、RNN模型的优点缺点

1.优点
2.缺点
  • 梯度消失问题
  • 梯度爆炸问题