1.Seq2seq背景：

经典的RNN模型的输入序列以及输出序列要求是等长的，然而在机器翻译中，如输入序列：“机器学习”，输出序列：“Machine Learning”，输入输出序列不等长，RNN就不能满足这样的情况。

Seq2seq可以用来处理输入输出序列不等长的问题，是一种特殊的RNN模型。

2.Seq2seq概述：

Seq2seq是一种编码（Encoder）-解码（Decoder）的结构，输入和输出可以是不等长的序列。

Seq2seq包括三个部分：编码器，解码器，以及连接两者的固定大小的状态向量。Encoder通过学习输入，将其编码成一个固定大小的状态向量，然后将状态向量传给Decoder，Decoder再通过对状态向量的学习来进行输出。

3.Seq2seq 编码器（Encoder）：

Encoder是一个RNN，也可以是LSTM、GRU等，接收的是每一个单词的词向量，和上一个时间点的隐藏状态。输出的是这个时间点的隐藏状态。其中**函数可以是sigmoid、tanh、Relu、softmax等。

读完序列中每个单词后，会得到一个固定长度的语义向量。

4.Seq2seq解码器（Decoder）:

Decoder是个RNN，也可以是LSTM、GRU等，将encoder得到的语义向量作为初始状态输入到Decoder的RNN中，得到输出序列。可以看到上一时刻的输出会作为当前时刻的输入，而且其中语义向量只作为初始状态参与运算，后面的运算都与语义向量无关。

decoder处理方式还有另外一种，就是语义向量参与了序列所有时刻的运算，上一时刻的输出仍然作为当前时刻的输入，但语义向量会参与所有时刻的运算。

解码器的输出通常有如下几种方法：

（1）贪婪：输出对应最大概率值的单词，计算代价低。

（2）采样：通过对众多概率值采样输出单词。

（3）集束搜索：是一种启发式的算法，提高多个预测创建一个可能结果的扩展树。

5.seq2seq的相关论文：

（1）原始的模型：https://arxiv.org/pdf/1406.1078.pdf，题目为：Learning Phrase Representations using RNN Encoder–Decoder for Statistical Machine Translation，由cho在2014年提出。

（2）改进的模型：https://arxiv.org/pdf/1409.3215.pdf，题目为：Sequence to Sequence Learning with Neural Networks。

（3）融入Attention机制的模型：https://arxiv.org/pdf/1409.0473.pdf，题目为：NEURAL MACHINE TRANSLATION BY JOINTLY LEARNING TO ALIGN AND TRANSLATE。

6.seq2seq的应用场景：

（1）机器翻译

（2）情感对话生成

（3）文本自动摘要

（4）图片自动描述