Hulu × ACM MM 2019 | CBVRP视频相关性预测挑战赛圆满落幕
2019年10月21日至25日，ACM MM 2019会议在法国尼斯举行。Hulu与ACM MM 2019共同举办的CBVRP视频相关性预测挑战赛圆满结束。
2019年CBVRP挑战赛共有来自不同国家的90多个团队和200多名参与者参赛，在电视剧、电影两条赛道上都取得了很大进展。2019年10月，ACM MM 2019对共七项挑战赛所收录的所有论文进行综合评审，CBVRP挑战赛电视剧赛道冠军团队的参赛论文夺得第一名（ACM MM Grand Challenge Winner First Place）。
01
挑战赛背景
CBVRP挑战赛全称是基于内容的视频相关性预测挑战赛（Content-Based Video Relevance Prediction Challenge），旨在探索如何通过内容理解来计算视频之间的相关性，这是在线流媒体服务实现优质个性化推荐的关键一步。
目前的在线流媒体服务中，视频相关性预测大多使用基于用户的协同过滤推荐算法（User-Based Collaborative Filtering Recommendation）实现。利用用户观看视频记录、搜索历史等行为数据，我们可以分析用户对视频的偏好。然后通过相似用户之间的偏好特征，找到同某个用户兴趣相似的其他用户感兴趣的视频，计算视频之间的关联分数，预测用户对其他视频内容的喜好程度，最终给用户做出个性化推荐。协同过滤算法是深度学习技术出现之前最成功的推荐系统技术，它的应用十分广泛，但也不可避免地存在“冷启动”问题：在没有积累起巨大的用户群体和充足的行为记录的情况下，系统就难以给出较为准确的推荐结果。此外，历史浏览者反馈很少的冷门视频或新发布的视频，由于用户数据不够，很难成为推荐结果。
另一种视频相关性预测方式是基于内容本身的推荐（Content-Based Recommendation）。利用视频内容的标题、图像、声音、文本和元数据等原始信息，我们可以提取特征向量，计算出视频之间的相似度，从而给出推荐。这一任务上的研究进展可以解决“冷启动”问题，提升个性化推荐水平，这将帮助用户高效率地发现和获取自己感兴趣的内容，提高用户体验。
因此，Hulu希望通过组织举办基于内容的视频相关性预测挑战赛，吸引更多研究者投入这个方向的研究，从而促使这一领域相关技术取得更多进展。
02
挑战赛任务
Hulu同ACM MM共同举办的2019年CBVRP挑战赛于2019年3月15日开放注册，7月1日截止提交最终实验结果，7月8日截止提交竞赛论文，10月21日至25日做录用论文报告。
2019年CBVRP挑战赛GitHub地址：
https://github.com/cbvrp-acmmm-2019/cbvrp-acmmm-2019
本挑战赛的主要任务是解决“冷启动”问题。根据观看者的历史行为和视频内容元数据，参赛者需要预测用户对于新电视剧或新电影内容的点击行为。
我们开放Hulu平台自有的部分影视剧集视频数据以及百万级的真实用户观看数据，让参赛者在真实的业务场景下进行视频内容相关性预测算法的开发与测试。出于版权保护和方便参赛选手建模的原因，开放的数据集中没有提供原始的视频，而是提供了电视剧或电影内容的视频及音频特征。
电视剧和电影数据分别对应两个独立的赛道，各自有一个训练集、一个验证集和一个测试集，视频的类型涵盖了各种主流类型，如喜剧、动作片、冒险片、恐怖片等。在测试集中，我们给出一条用户观看记录以及一部推荐的电视剧或电影，参赛者需要计算一个概率值，这个值代表着用户点开推荐视频的可能性有多大。
03
榜单成绩和收录论文
2019年CBVRP挑战赛开赛以来，吸引了工业界和学术界研究人员的广泛关注，共有来自不同国家的90多个团队和200多名参与者参赛。
最终有12支团队提交了2019年CBVRP挑战赛两条赛道的结果，上图为他们所取得的成绩。比赛结束后，Hulu为每个赛道的获胜团队各提供了2000美金的奖励。
CBVRP挑战赛是第三年举办，而今年榜单中有三个团队都已经是连续两年参加我们的比赛了，在视频相关性预测方向上持续进行着学术研究。
“USTC_I_Know_U”团队2018年取得了电视剧赛道冠军，2019年取得了电视剧赛道第二名、电影赛道冠军。“ZJGSU”团队2018年取得了电影赛道冠军，2019年在电影、电视剧赛道上均取得第四名。还有来自印度的“[email protected]”团队也连续参加了近两年的CBVRP挑战赛。
上图为电视剧赛道榜单。
冠军“UESTC_cfm”团队的成员来自电子科技大学和商汤科技，包括许启迪、徐昊成、陈维龙、韩朝君、李昊阳。他们取得了AUC 0.67的成绩。赛后，论文第一作者许启迪作为实习生加入Hulu北京办公室，继续进行算法研究。
第二、三名分别由“USTC_I_Know_U”团队和“potato”团队取得。
上图为电影赛道榜单。
冠军是“USTC_I_Know_U”团队，成员来自中国科学技术大学，包括陈旭松、刘东、李锐、查正军、熊志伟。他们在电影赛道取得了AUC 0.65的成绩，同时在电视剧赛道也以AUC 0.66的成绩排名第二，综合表现优异。
第二、三名分别由“MAGUS.Embedding is Power”团队和“XRGOGOGO”团队取得。
根据今年CBVRP挑战赛成绩表现、参赛解决方案的创新程度及研究意义等，Hulu筛选出了5篇参赛论文，收录到了ACM MM 2019挑战赛论文集中，其中2篇论文的作者在ACM MM 2019大会现场发表了报告。收录的参赛论文如下：
论文：《BERT4SessRec: Content-Based Video Relevance Prediction with Bidirectional Encoder Representations from Transformer》
作者：Xusong Chen，Dong Liu，Chenyi Lei，Rui Li，Zheng-Jun Zha，Zhiwei Xiong
论文：《Cold-Start Representation Learning: A Recommendation Approach with Bert4Movie and Movie2vec》
作者：Xinran Zhang，Xin Yuan, Yunwei Li, Yanru Zhang
论文：《Content-Based Video Relevance Prediction with Multi-view Multi-level Deep Interest Network》
作者：Zheyuan Chen, Kai Xu, Wei Zhang
论文：《Exploring Content-based Video Relevance for Video Click-Through Rate Prediction》
作者：Xun Wang, Yali Du, Leimin Zhang, Xirong Li, Miao Zhang, Jianfeng Dong
论文：《Time-aware Session Embedding for Click-Through-Rate Prediction》
作者：Qidi Xu，Haocheng Xu，Weilong Chen，Chaojun Han，Haoyang Li，Wenxin Tan，Fumin Shen，Heng Tao Shen
ACM MM 2019大会挑战赛组委会根据论文成果的新颖性、有效性等，对全部7项挑战赛所接收的所有论文进行综合评审，选出挑战赛领域的榜首。CBVRP挑战赛电视剧赛道冠军“UESTC_cfm”团队的参赛论文在众多入围者中脱颖而出，获得第一名（ACM MM Grand Challenge Winner First Place）。
这是参赛团队中各位成员和指导老师努力的结果，也是ACM MM 2019大会挑战赛组委会对CBVRP挑战赛赛题场景学术价值、工业界应用价值的认可。
04
电视剧赛道冠军团队论文
在参赛论文《Time-aware Session Embedding for Click-Through-Rate Prediction》中，2019年CBVRP挑战赛电视剧赛道冠军“UESTC_cfm”团队设计了一种基于时间感知的会话嵌入框架（Time-aware Session Embedding），称为TSE。与DIN、VBPR和AMR方法相比，该论文获得了约25％的效果改进。
针对视频时长不同导致的多媒体特征维度不一致的问题，该论文简单地采用降维的方法进行预处理，使特征向量变成相同长度。论文采用t-SNE方法对降维后的特征进行可视化处理，并在之后的模型中使用区分度较好的音频特征（Audio feature）作为多媒体特征（Multimedia feature）。区分度稍差的帧特征（Frame feature）和视频特征（Video feature）没有被应用。
该论文使用Item2Vec方法预训练物品向量（Item embedding），文中记为ID feature。为了建模用户行为列表中不同位置的观看行为对最终观看行为的影响程度，论文对不同位置的特征先进行了不同程度的衰减，再通过计算向量相似度的方法，计算该位置的权重。例如：对于列表中的第一个位置，论文根据标签取出正样本，找到这些样本在当前位置的预训练好的ID feature进行衰减，然后与正样本的目标ID feature计算相似度并取均值，作为该位置的时间向量（Time factor）。这里的Time factor可以理解成《Attention is All You Need》文章中的位置嵌入（Position embedding）。这样，在计算目标视频相似度时，模型会更多考虑用户最近观看的视频，相对减弱时间较远视频的影响权重。
接下来论文采用三种不同的求相似度的方法，对每个位置的ID feature和多媒体特征分别进行计算，这样，每个位置得到了一个6维的向量，表达该位置对最终预测的影响程度。在这一挑战赛任务上，Transformer机器学习模型由于其不易过拟合的特性，性能表现优于其他基线模型。论文将可学习的ID feature和固定的、经过预训练的多媒体特征以及各位置的6维向量进行连接，并输入到一个Transformer结构中，学习聚合之后的表达向量（Session embedding），在聚合后使用一个多层感知机作为分类器进行训练。
该论文采用Transformer处理用户行为序列，并引入音频特征，提高了冷启动情况下的推荐精度。同时，论文使用了nn预训练Embedding + GBDT的方法，减少nn调参带来的不稳定性。另一方面，该方法需要对多媒体特征进行无监督的降维，这一过程会带来信息损失。未来需要继续研究如何将神经网络和GBDT的优点进行结合，以及如何端到端地融合视频的多个模态特征来辅助推荐系统，取得更好的推荐效果。
05
电影赛道冠军团队论文
“USTC_I_Know_U”团队在2019年CBVRP挑战赛电影赛道取得冠军、电视剧赛道取得第二名。
他们在提交的参赛论文《BERT4SessRec: Content-Based Video Relevance Prediction with Bidirectional Encoder Representations from Transformer》中，首先使用NARM模型处理音频特征和帧特征，再使用BERT对赛题任务中涉及的序列化推荐问题进行建模，做特征融合处理后进行目标预测。
论文提出的方法分为预训练和微调两个阶段。
在预训练阶段，论文采用屏蔽语言模型方法来训练BERT模型，以便利用所有的用户观影记录来进行训练，而无需额外的监督信息。
如图所示，论文提出的模型在预训练阶段包括输入层，会话编码器和输出层。在输入层中，会话编码器由多个自我注意层（Self-attention Layers）堆叠组成。作者首先准备视频的初始表示，然后将其输入到会话编码器中。在输出层中，为了训练深度双向表征，作者随机遮蔽输入序列中的某一个电视剧或电影视频数据，获得被遮蔽的视频的隐藏表示，然后仅预测那些被遮蔽的视频。
在对会话编码器进行预训练之后，论文使用训练集和验证集中提供的点击数据对模型进行微调，以了解观影记录表示与目标视频之间的关系。
在微调阶段，论文使用预训练的输入层和会话编码器来初始化相应的部分。然后，论文训练交互层，计算目标视频和观影记录的表示之间的相似度，以预测用户是否会点击目标视频。
06
历年CBVRP挑战赛
Hulu举办的CBVRP挑战赛至今已经是第三届了。2017年，依托ICIP 2017大会，Hulu举办了首届CBVRP挑战赛；在分析总结了第一次举办挑战赛的经验后，2018年和2019年，Hulu与ACM MM大会合作举办了第二届、第三届CBVRP挑战赛。
ICIP大会是图像处理领域的知名国际会议。ACM MM大会（ACM International Conference on Multimedia，国际计算机学会多媒体大会）是多媒体技术领域的顶级会议，也是中国计算机学会（CCF）推荐的A类国际学术会议。
三年来，CBVRP挑战赛从稚嫩逐渐走向成熟，业界认可度也在一步一步扎实地提高。此外，每年随着业界实际情况进展、新数据的积累，挑战赛任务和数据集都在迭代更新。
2017年CBVRP挑战赛GitHub地址：
https://github.com/CBVRP-ICIP-2017/CBVRP-ICIP2017
2017年第一届CBVRP挑战赛，我们为选手提供的数据规模相对有限，包括一个检索数据集和一个候选数据集，检索数据集分为训练集、验证集和测试集。参赛选手们需要设计一个模型，分析视频及相应的元数据（视频类型、导演等信息），计算出测试数据及训练数据之间的相关性，进而推导出候选数据集与测试数据之间的相关性。
2018年CBVRP挑战赛GitHub地址：
https://github.com/cbvrp-acmmm-2018/cbvrp-acmmm-2018
2018年第二届CBVRP挑战赛赛题做了简化，选手只需要计算出检索数据集中的剧目同所有候选数据集中剧目的相关性。同时，比赛提供的数据种类也做了一些变化。从视频内容中提取出的图像和视频特征取代了原始视频和元数据，用于代表视频内容；还提供了从用户观影行为中提取出的相关性表格作为真实值（Ground truth）。
2019年CBVRP挑战赛GitHub地址：
https://github.com/cbvrp-acmmm-2019/cbvrp-acmmm-2019
2019年CBVRP挑战赛，我们认真听取了参赛选手给出的反馈建议，将赛题任务设计得更贴近实用又有趣的真实业务场景。提供的数据包括从视频内容中提取出的图像和视频特征，也直接给出了脱敏后的用户真实观影记录，目标是解决CTR预估中的冷启动问题。
07
未来可期
Hulu成立于2006年，是美国互联网视频流媒体平台先驱者。Hulu支持用户在上千种设备上观看长视频和电视直播，拥有2900万付费订阅用户，并拥有大量原创内容，包括自制剧《使女的故事》等。
真实存在的业务需求，促使Hulu通过多种途径努力投入和支持多媒体技术研发，并努力将技术快速落地到Hulu产品中，为观众创造绝佳的观看感受。视频相关性预测方向上的进展，可以提升个性化推荐水平，这将帮助用户高效率地发现和获取自己感兴趣的内容，提高用户体验。
到今年，CBVRP挑战赛已经举办了三届，比赛结束后，Hulu提供的数据集依然公开可获取。希望我们的CBVRP挑战赛能够吸引并帮助更多的科研工作者致力于此，为多媒体领域内更长期的发展贡献一份力量。
长按关注Hulu招聘动态
收获“最佳职场”offer
↓ 点击“阅读原文”，直达Hulu官网职位投递页面