李宏毅深度学习笔记(十三)LSTM(长短期记忆网络)
1.结构
2.计算
例1:
假设,,均为输入,当的时候将加入记忆单元,当时将将记忆单元清空,当的时候输出记忆单元里面的数值。根据规则,最开始记忆单元里面存储的是0,当输入时因为,所以记忆单元和输出都不工作,到了第二列,因为,,,所以将加入记忆单元,输出依旧为0,第三列,,,,所以不会被加入到记忆单元,输出依旧为0,第四列,,,所以会被加入到记忆单元此时记忆单元变为7,输出依然为零,直到出现,记忆单元的数才会被输出。
例2:
还是假设最开始记忆单元里面储存的是0,经过函数可以得到3,经过Input Gate的sigmoid函数可以求出1,经过Output Gate的sigmoid函数计算出0,经过Forget Gate的sigmoid函数计算出1,然后根据上面的公式就可以算出最终的输出。
3.LSTM与传统神经网络的联系
我们只要把LSTM看作是传统神经网络的一个神经元(neuron)即可另外,LSTM需要四个输入
4.LSTM的最终形态
LSTM的四个输入都是从最初始的x乘以不同的权重得来的,然后还要考虑上一个时间点的和。