这是你的RNN

   图图告诉你RNN           

首先,RNN是用来解决有时间序列问题的,考虑上下文联系的神经网络。               

                                       这是你的RNN

这是你的RNN           这是你的RNN

                                                     这是你的RNN

 

所以说网络需要记忆,上一个单词应该要对下一个单词的输出产生影响,于是RNN网络横空出世,下图的a1和a2就是RNN的主要特点,能够储存上一次的输出值。

                                                         这是你的RNN

 

我们来看看RNN是这么运作的,为了方便,不妨假设所有的权重为1,并且每个单元都没有偏置,记忆池a1和a2的初始值都为0;

                                                          这是你的RNN

第一步:当输入的变量为[1,1]时,

                                                    这是你的RNN

第二次输入[1,1]时,

                                                   这是你的RNN

第三次输入[2,2]时,

                                                  这是你的RNN

                       这是你的RNN

这就很好解决了一开始的问题,arrive Taipei 和leave Taibei 是不一样的输出。

                         这是你的RNN

当然,RNN也可以采取双向的,这样的好处是:当输出一个单词的概率时,已经考虑了前后的所有单词

                                这是你的RNN

请问到这里,能够理解RNN的工作架构了吗?如果理解了,继续看下面内容,其实呀,前面的讲的记忆池是最简单的方式,下面讲讲一个特例的记忆方法,long-short term memory(LSTM),说白了,就是这次的是否记忆,是否输出记忆和是否遗忘记忆都有专门的信息来把控(可以比喻成在门口设置了保安,不是像之前那样可以随随便便进进出出了)

        这是你的RNN                           这是你的RNN

 

这是你的RNN

 

人体LSTM

这是你的RNN       这是你的RNN

 

                                             这是你的RNN          这是你的RNN          这是你的RNN         这是你的RNN      这是你的RNN

 

最后的最后,如果你没有看懂的话,可以去看看视频,李宏毅老师讲得非常好!!!!

这是你的RNN

李宏毅老师的深度学习课程