深层循环神经网络
1. 引入
我们学过的序列模型，RNN, GRU, LSTM，以及双向的RNN, GRU, LSTM，他们每一个模型都可以独当一面。
如果我们想学习更复杂的函数，通常我们就会把多个RNN堆叠到一起，构建更深层次的网络。
接下来我们就讲述如何构建深层次的循环神经网络。
2. 深层RNN原理
见下图
图中左边是传统的多个全连接层组成的深层网络，把RNN按照这种模式一层一层组合在一起，得到右边的深层RNN网络。
在做计算时，比如下图中a22隐层，需要其他时刻与其他层的输出作为输入，所以计算量是很大的。
3. 深层RNN特点
-
RNN的计算复杂，哪怕只有3层，训练过程也很耗时，所以深层RNN一般不像其他网络一样有十几层。
-
CNN一般会在（最后）全连接层使用dropout，而深层RNN一般不在同一层使用dropout，只在同一个时刻不同层之间使用
-
深层RNN可以增强模型的表达能力，学习更复杂的函数
参考
- [1] https://blog.****.net/weixin_42792500/article/details/81254421
- [2] Andrew Ng， sequence model class