#Paper Reading# Learnable pooling with Context Gating for video classification

论文题目: Learnable pooling with Context Gating for video classification
论文地址: https://arxiv.org/abs/1706.06905
论文发表于: arXiv

论文大体内容：
本文主要提出了Gated NetVLAD模型，用于给视频打标，并在kaggle比赛中取得第一名。

Motivation：
如何更有效的对视频打标，是工业界需要迫切解决的问题，在学术界也有不少相应的研究。

Contribution：
①提出一个结合视频信息和音频信息的模型，取得state-of-art的效果；
②引入Context Gating层，建模网络**层的相关性；
③用实验证明基于聚类的聚合方法在视频分类中比LSTM和GRU有效；

1. 本文提出的模型结构图如下。
#Paper Reading# Learnable pooling with Context Gating for video classification

2. 特征抽取
①视频特征：本文使用的特征都是由Google官方提供的在ImageNet上训练的Inception V3模型[3]进行预抽取的（最后一层隐层），每个视频按每秒一帧抽取，最长抽取出360帧。其中每帧视频抽取出2048维向量（每帧视频取平均作为视频整体的embedding），再使用PCA降维到1024维；
②音频特征：采用VGG16进行抽取，使用PCA降维到128维；

3. Learnable pooling
①VLAD[6]（Vector of Locally Aggregated Descriptors）
X ∈ R^(N*J)
C ∈ R^(K*J)
VLAD ∈ R^(J*K)
#Paper Reading# Learnable pooling with Context Gating for video classification
②NetVLAD[7]

③NetFV

④NetRVLAD