《Multi-level Attention Networks for Visual Question Answering》阅读笔记

一、研究背景

1. effective semantic embedding and fine-grained visual understanding；
2. 人类语言问题以明确的查询意图传达强大的高级语义，而具有数万个像素的真实世界图像则相对低级且抽象，由于众所周知的语义差距，这对深度图像理解提出了巨大的挑战；
3. 视觉问题回答需要细粒度的空间推理，因为某些答案只能从高度本地化的图像区域推断出“What”和“Where”的问题

二、文章贡献

1. 我们通过共同学习multi-level attention来解决自动视觉问题回答的挑战，这可以同时减少从视觉到语言的语义鸿沟，并有益于VQA任务中的细粒度推理；
2. 我们引入了一种新颖的视觉注意空间编码方法，通过双向RNN模型从有序图像区域中提取上下文感知视觉特征

三、实验模型

Semantic Attention

1. 通过深度卷积神经网络训练概念检测器，它可以产生图像的语义概念概率；
   
2. 训练一个注意力网络来衡量词汇和问题中每个概念之间的语义相关性。
   使用以下等式来表示问题编码模型：
   
   我们对概念和问题使用相同的词汇表和嵌入矩阵，因此它们可以共享相同的语义表示。 具体而言，我们通过双层堆叠嵌入层用语义向量sc表示概念c。 第一层设计为与问题模型共享相同的词嵌入层，第二层用于将概念向量投影到具有问题表示的相同维度中，由下式给出：
   
   

Context-aware Visual Attention


与通过两个向量的点积测量问题和概念词之间的语义相似性的semantic attention不同，我们对齐问题和每个区域通过两个向量的元素乘法，然后将它们馈送到多层感知器（MLP），这种设计使得能够通过MLP中的参数优化来自动学习attention功能。

1. 使用在上一步中获得的上下文感知视觉特征来表示局部区域，而不是在卷积神经网络中来自每个区域的独立表示，其通常缺乏不同区域之间的相互作用；
2. 我们使用逐元素乘法而不是逐元素加法来对齐每个区域的问题特征和视觉特征，这克服了多模态特征汇集中的尺度不一致问题。

在实践中，我们重复上述过程，如[34]中所述，使用问题特征和参加区域特征作为指导，忽略了这里的细节以便简洁。
Joint Attention Learning
我们使用问题作为查询来搜索不同级别的图像信息。 在低级视觉特征中，我们通过visual attention关注与问题相关的区域，而在高级语义特征中，我们通过semantic attention关注与问题相关的概念。 两个级别的注意力通过融合他们的代表性表达而结合在一起。 特别是，我们首先将问题向量添加到从不同层提取的 attended image features，然后我们使用逐元素乘法将两种类型的注意力组合在一起。 最后，我们将关节特征馈送到softmax层以预测预定义候选答案集A的概率。具有最高概率的候选者被确定为最终答案，其由下式给出：

四、实验结论

我们提出了一种新颖的Multi-level Attention Network，将 visual attention and semantic attention结合到一个 end-end framework中，以解决自动视觉问答。 visual attention能够通过问题查询细粒度的视觉理解，而semantic attention则缩小了问题和图像之间的domain gap。 我们的模型利用了不同层次表示的注意机制的互补性。 对两个大型数据集进行的大量实验表明，我们不仅优于任何单层关注模型，而且通过简单但有效的框架实现了最佳结果。 未来的工作包括进一步探索空间编码与上下文信息，注意句子级表示和更好的融合方法，以加入不同层次的关注。

[34] Z. Yang, X. He, J. Gao, L. Deng, and A. Smola. Stacked attention networks for image question answering. In CVPR, 2016