对LSTM的理解

这篇博客是在看了李宏毅老师的机器学习系列课程之后,对LSTM产生的理解。

-------------------分割线--------------------

1.什么是RNN(循环神经网络)?

  在理解LSTM之前,需要先理解什么是RNN。现在我们假设一个简单的神经网络,只有一个神经元,如下图所示,

对LSTM的理解

我们在在训练神经网络的过程是:

对LSTM的理解

而RNN的结构是:

对LSTM的理解

2.LSTM的结构:

对LSTM的理解

和传统的神经网络的关系是:

对LSTM的理解

最终形态是:

对LSTM的理解