神经网络学习笔记（5）：LSTM
LSTM
LSTM的架构：
学习门：
遗忘门：
记忆门：
应用门（输出门）：
总结：
解释
遗忘门会接受长期记忆并遗忘一部分；
学习门会把短期记忆和事件放到一起作为我们最近学到的信息；
记忆门则把还没有遗忘的长期记忆和刚学到的新信息放到一起，以便更新长期记忆并将其输出；
使用门会把我们刚学到的信息和还没遗忘的长期记忆放到一起，从中作出预测并更新短期记忆。
Why tanh or sigmoid?
因为这样行得通，还有很多其他简单的或者复杂的结构：
（1）GRU门限回归单元:
他把遗忘门和学习门合并为更新门
然后把更新门的结果交由合并门处理
他只会返回一个工作记忆，而不是一对长短时记忆
（2）Peephole Connections窥视孔连接：