在LSTM的文章中最出名文章之一就是 Christopher Olah 的博文     感觉这篇博客图画的非常棒，公式也写的很清楚，但是缺失一些感性理解。

自己在看了七月在线寒小阳和练数成金对于LSTM的讲解，对于LSTM有了更深的理解，写一篇博客总结下。

---

目录

RNN引出LSTM的感性认知

LSTM原理（理性认知）

第一步：忘记门

第二步：输入门

第三步：更新

第四步：输出

---

 

 

RNN引出LSTM的感性认知

RNN解决了对之前的信息保存的问题。但是存在长期依赖的问题，也就是说，记忆量容量有限，间隔不断增大时，RNN 会丧失学习到连接如此远的信息的能力。这才引出了LSTM

先感性的理解下LSTM和RNN的区别：

• LSTM的‘‘“记忆细胞’’被改造了
• LSTM 改记忆的信息会一直传递，不该记得会被"门"截断

 

RNN的图示：

RNN的‘记忆细胞’图示：

LSTM的‘记忆细胞’图示：

 

 

LSTM原理（理性认知）

第一步：忘记门

决定从“细胞状态”中丢弃什么信息

在我们 LSTM 中的第一步是决定我们会从细胞状态中丢弃什么信息。这个决定通过一个称为忘记门层完成。该门会读取和，输出一个在 0 到 1 之间的数值给每个在细胞状态中的数字。1 表示“完全保留”，0 表示“完全舍弃”。

让我们回到语言模型的例子中来基于已经看到的预测下一个词。在这个问题中，细胞状态可能包含当前主语的性别，因此正确的代词可以被选择出来。当我们看到新的主语，我们希望忘记旧的主语。

是t-1时刻的记忆信息，是t-1时刻的的输出结果，是t时刻神经网络看到的信息，是sigmoid函数，W 和b为参数。

公式感性理解：LSTM以多大程度去忘记之前的信息，取决于上一次输出的结果和现在看到的东西

 

第二步：输入门

决定什么值我们将要更新

这里包含两个部分。第一，sigmoid 层称 “输入门层” 决定什么值我们将要更新。然后，一个 tanh 层创建一个新的候选值向量，会被加入到状态中。下一步，我们会讲这两个信息来产生对状态的更新。

在我们语言模型的例子中，我们希望增加新的主语的性别到细胞状态中，来替代旧的需要忘记的主语。

是t-1时刻的的输出结果，是t时刻神经网络看到的信息， W和b为参数

为新学习到的东西，并且要加入“记忆细胞”的候选者，：可以选择性的从中选择“记忆细胞”中没有的东西

（这里看不懂没关系，看第三步就明白了）

 

第三步：更新

1. 更新为
2. 把旧状态与相乘，丢弃掉我们确定需要丢弃的信息。
3. 加上*   ，加上我们确定需要增加的信息。

公式感性理解：此时的记忆细胞=以多大程度去忘记之前的信息 * 之前的​​​​​记忆细胞 + 以多大程度去接受新的信息 * 新学习到的东西

 

第四步：输出

基于“记忆细胞”得到输出

1. 首先，运行一个 sigmoid 层来确定细胞状态的哪个部分将输出出去。
2. 把细胞状态通过 tanh 进行处理（得到一个在 -1 到 1 之间的值）并将它和 sigmoid 门的输出相乘，最终我们仅仅会输出我们确定输出的那部分。

在语言模型的例子中，因为他就看到了一个 代词，可能需要输出与一个 动词 相关的信息。例如，可能输出是否代词是单数还是负数，这样如果是动词的话，我们也知道动词需要进行的词形变化。

到这一步有些人会困惑为啥又要设计一个参数 会有什么意义呢？

举个例子，你参加高考时，解一道数列的题目，不需要高中所有的知识。 就是在高中所有的知识中提取数列的知识。