tensorflow2.0北大课程笔记（三）

循环核

循环核按时间步展开

循环计算层：向输出反向生长

TF描述循环计算层


TF描述循环计算层

循环计算过程I

随机生成了Why,Whh,Wxh,记忆体个数为3个

第一次运算过后

输出层

RNN预测字母
实现代码

循环计算过程，连续输入四个字母，预测下一个字母

记忆体第一次更新（输入b）

第二次更新（输入c）

第三次更新（输入d）

第四次更新（输入e)

最后输出

jupyter代码实现

embeding

课程讲解
LSTM
表征长期记忆的细胞态Ct,等待存入长期记忆的候选态Ct波浪号

LSTM就是你听我讲课的过程，你现在脑袋里记住的内容是今天ppt第1页到第45页的长期记忆Ct
，这个长期记忆Ct由两部分组成，一部分是ppt第1页到第44页的内容，也就是上一时刻长期记忆Ct-1，你不可能一字不差的记住全部内容，你会不自觉地忘掉一些，所以上个时刻的长期记忆Ct-1要乘以遗忘门，这个乘积项表示留存在你脑中的对过去的记忆，我现在讲的内容是新知识，是即将存入你脑中的现在的记忆，现在的记忆由两部分组成，一部分是我现在讲的第45页ppt。。你的脑袋把当前时刻的输入xt和上一时刻的短期记忆ht-1归纳形成即将存入你脑中的现在的记忆Ct波浪号.
现在的记忆Ct波浪号乘以输入门与过去的记忆一同存储为长期记忆
。当你把这一讲复述给你朋友时，你不可能一字不漏的讲出来，你讲的是留存在你脑中的长期记忆，经过输出门筛选后的内容，这就是记忆体的输出ht。当有多层循环网络时，这一层的输出是下一层的输入，输出的是这一层的提取的精华。你可以认为我现在扮演的就是第一层循环网络，每一页ppt我都是从一篇篇论文中提取出的精华，输出给你，作为第二层循环网路的你，接收到的数据是我的长期记忆经过tanh**函数乘以输出门提取的短期记忆ht

TF实现LSTM

GRU网络

TF实现