浅谈 image caption 相关知识点

框架

encoder-decoder

1. 中间向量 长度是固定的（缺陷）
   ( 语义向量无法完全表示整个序列的信息，先输入的内容携带的信息会被后输入的信息稀释掉 )
2. 输入信息 太长，会丢失信息（缺陷）

Seq2Seq

1. 输入 输出 序列长度可变
2. • 输入输出 固定长度，长度稍微变化，补零

encoder-decoder & Seq2Seq

1. Seq2Seq 属于 Encoder-Decoder 的大范畴
2. Seq2Seq 更强调目的，Encoder-Decoder 更强调方法

Attention

1. 解决 信息过长，信息丢失
2. Encoder 不将 输入序列编码 为固定长度 的中间向量C，
3. 编码成向量序列

生成顺序：

1. 解决输入输出是固定长度，长度有变化，补零： Seq2Seq
2. 解决中间向量固定：Attention

优化

1. SGD（minibatch stochastic gradient descent）：负责采样
2. Adadelta：负责优化下降方向

---

优秀链接

image caption generation系列博文整理
Image Caption使用记录 - 代码
图像描述（image caption）历年突破性论文总结 - 论文