YouTube-8M: A Large-Scale Video Classification Benchmark简介

YouTube-8M: A Large-Scale Video Classification Benchmark

Abstract

作者以1帧每秒的速度解码视频，同时利用预训练在imagenet上的Deep CNN来抽取隐藏的表征。

Introduction

作者首先利用youtube 视频标注系统对youtube-8m进行标注，同时利用包括人力手动过滤的过滤规则对标签进行相应的筛选

同时作者也提出youtube-8m的数据量较大以及种类的多样性，对进一步视频理解与表征学习有进一步的促进作用。

Feature

作者将视频的前六分钟以一帧每秒来解码，将其喂进Inception network，将最后一层隐藏层的relu**后的输出作为特征表示。每秒的视频都是2048维。 同时移除了动作的特征，研究表明随着视频的大小与多样性的提升，效果会递减。

后续，作者使用了PCA+白化处理，量化来对数据进行压缩，同时作者说明了大小的变化只会造成1%的变化。

Models from Frame Features

对于frame-level的特征，作者给出了三种参考方法：logistic+average，deep bag of frames，lstm。

Video level representations

作者提出利用frame-level特征来表示video-level特征

同时针对video-level给出了相应的模型

Models from Video Features

作者提出三种参考方法：hinge loss，logistic regression, mixture-of-2-experts

Experiment

整体来看，lstm表现较好，同时作者提出可以使用从video中取样多个定长的片段后平均结果来进行数据增强。

这对处理frame-level feature是个很好的想法。