推荐系统顶会 RecSys2019 最佳论文！《Are We Really Making Much Progress? A Worrying Analysis of Recent Neural Rec

推荐系统顶会 RecSys2019 最佳论文！《Are We Really Making Much Progress? A Worrying Analysis of Recent Neural Recommendation Approaches》
作者: 纪厚业 北京邮电大学

知乎专栏对公式支持较好, 见 https://zhuanlan.zhihu.com/c_1158788280744173568

个人公众号 图与推荐

本文发表在推荐系统顶会RecSys2019并获得了Best Paper。作者梳理实现了大量顶会推荐论文的代码（https://github.com/MaurizioFD/RecSys2019_DeepLearning_Evaluation）方便大家入门推荐系统。
1.引言.
推荐系统尤其是深度推荐系统在工业界得到的广泛的应用，相关论文也在各大顶会层出不穷。各种State-of-the-art的模型不断的刷新着记录。但是，这些模型的有效性并没有真正的得到验证。本文复现了近些年顶会的Top-N推荐的论文并进行了系统的分析。遗憾的是，顶会上的18种推荐算法只有7个可以合理的复现。一些算法甚至无法超过基于KNN的方法。这不禁使作者发出疑问：我们真的取得了大量的进步吗？
2.相关的论文、模型评价标准及基线算法
这里作者收集了18篇各大顶会论文，见Table 1.

3.模型验证
3.1Collaborative Memory Networks (CMN)
CMN是一种混合记忆网络和注意力机制的推荐模型，发表在SIGIR2018。作者复现了CMN并在三个数据集上进行了验证，结果如Table 2所示。

可以看出，CMN在大部分的情况下表现并不好，而UserKNN和ItemKNN表现强劲。

3.2 Metapath based Context for RECommendation (MCRec)
MCRec是北邮石川老师组发表在KDD2018的工作，是一种基于路径的异质图推荐算法。作者在MoiveLens100k比较了MCRec和相关baselines，具体结果见Table 3。

这里MCRec表现不错，但是仍然略差于ItemKNN。ItemKNN在设置了正确超参数的时候取得了最优效果。

3.3 Collaborative Variational Autoencoder (CVAE)
CVAE是一种混合了内容和评分的混合推荐模型，发表在KDD2018上。实验结果见Table 4。

3.4 Collaborative Deep Learning (CDL)
CDL是一篇早期的深度推荐算法（发表在KDD2015上），它混合了栈式降噪自编码器（SDAE）和协同滤波技术来进行推荐。CVAE和本文采用了同样的测评方法和数据集。

可以看出，随着list长度的增加，CDL效果逐渐超过一些baseline，但是和最佳baseline（ItemKNN-CBF）的差距依然较大。

3.5 Neural Collaborative Filtering (NCF)
本文由NUS的Xiangnan He发表在WWW2017上。NCF通过用神经网络来代替内积对矩阵分解进行了泛化，已经成为推荐领域的一个经典baseline。但是在本文的测评中，NCF的表现甚至不如PureSVD。具体测评结果见Table 6。

NCF的一作Xiangnan He老师也在知乎对本文的测评提出了异议（https://www.zhihu.com/question/336304380/answer/784976195）。
3.6 Spectral Collaborative Filtering (SpectralCF)
本文发表在RecSys2018上，作者从Spectral Graph Theory 的角度设计了一种新颖的卷积操作来解决推荐系统的cold-start问题。这里作者在MovieLens1M上对比了SpectralCF和一些baselines，具体结果见Table 7。

SpectralCF表现不是很好，大幅度超越SpectralCF取得了最优的效果。

3.7 Variational Autoencoders for Collaborative Filtering (Mult-VAE)
Mult-VAE是一种基于隐式反馈和VAE的协同过滤模型，发表在WWW2018上。测评结果见Table 8 和Table 9。

4.讨论
本文复现并分析了近些年各大顶会的18篇推荐论文。结果表明，仅仅有7篇论文可以复现，但是其效果并不一定比一些基础推荐算法好。这不禁让作者怀疑深度推荐系统这个领域是否真正的取得了进步。
5. 参考文献
[1] Travis Ebesu, Bin Shen, and Yi Fang. 2018. Collaborative Memory Network for Recommendation Systems. In Proceedings SIGIR ’18. 515–524.
[2] Xiangnan He, Lizi Liao, Hanwang Zhang, Liqiang Nie, Xia Hu, and Tat-Seng Chua. 2017. Neural collaborative fltering. In Proceedings WWW ’17. 173–182.
[3] Binbin Hu, Chuan Shi, Wayne Xin Zhao, and Philip S Yu. 2018. Leveraging meta-path based context for top-n recommendation with a neural co-attention model. In Proceedings KDD ’18. 1531–1540.
[4] Xiaopeng Li and James She. 2017. Collaborative variational autoencoder for recommender systems. In Proceedings KDD ’17. 305–314.
[5] Dawen Liang, Rahul G Krishnan, Matthew D Hofman, and Tony Jebara. 2018. Variational Autoencoders for Collaborative Filtering. In Proceedings WWW ’18. 689–698.
[6] Hao Wang, Naiyan Wang, and Dit-Yan Yeung. 2015. Collaborative deep learning for recommender systems. In Proceedings KDD ’15. 1235–1244.
[7] Lei Zheng, Chun-Ta Lu, Fei Jiang, Jiawei Zhang, and Philip S. Yu. 2018. Spectral Collaborative Filtering. In Proceedings RecSys ’18. 311–319.
[8] Yi Tay, Luu Anh Tuan, and Siu Cheung Hui. 2018. Multi-Pointer Co-Attention Networks for Recommendation. In Proceedings SIGKDD ’18. 2309–2318.
[9] Zhu Sun, Jie Yang, Jie Zhang, Alessandro Bozzon, Long-Kai Huang, and Chi Xu. 2018. Recurrent Knowledge Graph Embedding for Efective Recommendation. In Proceedings RecSys ’18. 297–305.
[10] Homanga Bharadhwaj, Homin Park, and Brian Y. Lim. 2018. RecGAN: Recurrent Generative Adversarial Networks for Recommendation Systems. In Proceedings RecSys ’18. 372–376.
[11] Noveen Sachdeva, Kartik Gupta, and Vikram Pudi. 2018. Attentive Neural Architecture Incorporating Song Features for Music Recommendation. In Proceedings RecSys ’18. 417–421.
[12] Trinh Xuan Tuan and Tu Minh Phuong. 2017. 3D Convolutional Networks for Session-based Recommendation with Content Features. In Proceedings RecSys ’17. 138–146.
[13] Donghyun Kim, Chanyoung Park, Jinoh Oh, Sungyoung Lee, and Hwanjo Yu. 2016. Convolutional Matrix Factorization for Document Context-Aware Recommendation. In Proceedings RecSys ’16. 233–240.
[14] Flavian Vasile, Elena Smirnova, and Alexis Conneau. 2016. Meta-Prod2Vec: Product Embeddings Using Side-Information for Recommendation. In Proceedings RecSys ’16. 225–232.
[15] Jarana Manotumruksa, Craig Macdonald, and Iadh Ounis. 2018. A Contextual Attention Recurrent Architecture for Context-Aware Venue Recommendation. In Proceedings SIGIR ’18. 555–564.
[16] Jingyuan Chen, Hanwang Zhang, Xiangnan He, Liqiang Nie, Wei Liu, and Tat-Seng Chua. 2017. Attentive collaborative fltering: Multimedia recommendation with item-and component-level attention. In Proceedings SIGIR ’17. 335–344.
[17] Yi Tay, Luu Anh Tuan, and Siu Cheung Hui. 2018. Latent relational metric learning via memory-based attention for collaborative ranking. In Proceedings WWW ’18. 729–739.
[18] Ali Mamdouh Elkahky, Yang Song, and Xiaodong He. 2015. A multi-view deep learning approach for cross domain user modeling in recommendation systems. In Proceedings WWW ’15. 278–288.

作者介绍：
纪厚业，北京邮电大学计算机科学与技术专业博士研究生。主要研究方向是异质图神经网络，异质图表示学习和推荐系统。