李宏毅深度学习笔记(十三)LSTM(长短期记忆网络)

1.结构

李宏毅深度学习笔记(十三)LSTM(长短期记忆网络)

2.计算

李宏毅深度学习笔记(十三)LSTM(长短期记忆网络)例1:
李宏毅深度学习笔记(十三)LSTM(长短期记忆网络)假设x1x_1x2x_2x3x_3均为输入,当x2=1x_2=1的时候将x1x_1加入记忆单元,当x2=1x_2=-1时将将记忆单元清空,当x3=1x_3=1的时候输出记忆单元里面的数值。根据规则,最开始记忆单元里面存储的是0,当输入x1=1x_1=1时因为x2=0x_2=0x3=0x_3=0所以记忆单元和输出都不工作,到了第二列,因为x1=3x_1=3x2=1x_2=1x3=0x_3=0,所以将x1=3x_1=3加入记忆单元,输出依旧为0,第三列,x1=2x_1=2x2=0x_2=0x3=0x_3=0,所以x1=2x_1=2不会被加入到记忆单元,输出依旧为0,第四列x1=4x_1=4x2=1x_2=1x3=0x_3=0,所以x1=4x_1=4会被加入到记忆单元此时记忆单元变为7,输出依然为零,直到出现x3=1x_3=1,记忆单元的数才会被输出。

例2:
李宏毅深度学习笔记(十三)LSTM(长短期记忆网络)
还是假设最开始记忆单元里面储存的是0,经过函数g(x)g(x)可以得到3,经过Input Gate的sigmoid函数可以求出1,经过Output Gate的sigmoid函数计算出0,经过Forget Gate的sigmoid函数计算出1,然后根据上面的公式就可以算出最终的输出。
李宏毅深度学习笔记(十三)LSTM(长短期记忆网络)

3.LSTM与传统神经网络的联系

我们只要把LSTM看作是传统神经网络的一个神经元(neuron)即可
李宏毅深度学习笔记(十三)LSTM(长短期记忆网络)另外,LSTM需要四个输入
李宏毅深度学习笔记(十三)LSTM(长短期记忆网络)

4.LSTM的最终形态

李宏毅深度学习笔记(十三)LSTM(长短期记忆网络)LSTM的四个输入都是从最初始的x乘以不同的权重得来的,然后还要考虑上一个时间点的ctc^thth^t