推荐系统的基本概念

内容都是百度AIstudio的内容，我只是在这里做个笔记，不是原创。

 

构建推荐系统本质上是要解决“5w”的问题。如下图示例，当用户在晚间休闲，上网阅读小说时，在阅读的军事小说下方，向他推荐三国志游戏，并给出推荐理由“纸上谈兵不如亲身实践”。

 这是一个较好的推荐案例，很多军迷用户会下载游戏试玩。但反之，如果在用户白天开会投屏时，弹出提示框向用户推荐“巴厘岛旅游”，会给在场的同事留下不认真工作的印象，用户也会非常的恼火。可见，除了向谁（Who）推荐什么(What)之外，承载推荐的产品形式（Where）和推荐时机（When）也非常重要。

 虽然完整的推荐系统需要考虑“5W”问题，但向谁（who）推荐什么(what)是问题的核心。所以，本章我们介绍一个解决这两个核心问题的推荐系统。使用的数据和推荐任务如下图所示，已知用户对部分内容的评分（偏好），推测他们对未评分内容的评分，并据此进行推荐。

常用的推荐系统算法实现方案有三种：

1. 协同过滤推荐（Collaborative Filtering Recommendation）：该算法的核心是分析用户的兴趣和行为，利用共同行为习惯的群体有相似喜好的原则，推荐用户感兴趣的信息。兴趣有高有低，算法会根据用户对信息的反馈（如评分）进行排序，这种方式在学术上称为协同过滤。协同过滤算法是经典的推荐算法，经典意味着简单、好用。协同过滤算法又可以简单分为两种：

   a)基于用户的协同过滤：根据用户的历史喜好分析出相似兴趣的人，然后给用户推荐其他人喜欢的物品。假如小李，小张对物品A、B都给了十分好评，那么可以认为小李、小张具有相似的兴趣爱好，如果小李给物品C十分好评，那么可以把C推荐给小张，可简单理解为“人以类聚”。

   b)基于物品的协同过滤：根据用户的历史喜好分析出相似物品，然后给用户推荐同类物品。比如小李对物品A、B、C给了十分好评，小王对物品A、C给了十分好评，从这些用户的喜好中分析出喜欢A的人都喜欢C，物品A、C是相似的，如果小张给了A好评，那么可以把C也推荐给李，可简单理解为“物以群分”。

2. 基于内容过滤推荐（Content-based Filtering Recommendation）：基于内容的过滤是信息检索领域的重要研究内容，是更为简单直接的算法，该算法的核心是衡量出两个物品的相似度。首先对物品或内容的特征作出描述，发现其相关性，然后基于用户以往的喜好记录，推荐给用户相似的物品。比如，小张对物品A感兴趣，而物品A和物品C是同类物品，可以把物品C也推荐给小张。

3. 组合推荐（Hybrid Recommendation）：以上算法都各有优缺点，比如基于内容的过滤推荐是基于物品建模，在系统启动初期往往有较好的推荐效果，但是没有考虑用户群体的关联属性；协同过滤推荐考虑了用户群体喜好信息，可以推荐内容上不相似的新物品，发现用户潜在的兴趣偏好，但是这依赖于足够多且准确的用户历史信息。所以，实际应用中往往不只采用某一种推荐方法，而是通过一定的组合方法将多个算法混合在一起，以实现更好的推荐效果，比如加权混合、分层混合等。具体选择哪种方式和应用场景有很大关系。

 

数据集介绍

个性化推荐算法的数据大多是文本和图像。比如网易云音乐推荐中，数据是音乐的名字、歌手、音乐类型等文本数据。抖音视频推荐中，数据是视频或图像数据。也有可能同时使用图像和文本数据，比如YouTuBe的视频推荐算法中，会同时考虑用户信息和视频类别、视频内容信息。

本次实践我们采用ml-1m电影推荐数据集，它是GroupLens Research从MovieLens网站上收集并提供的电影评分数据集。包含了6000多位用户对近3900个电影的共100万条评分数据，评分均为1～5的整数，其中每个电影的评分数据至少有20条。该数据集包含三个数据文件，分别是：

• users.dat，存储用户属性信息的txt格式文件。
• movies.dat，存储电影属性信息的txt格式文件。
• ratings.dat， 存储电影评分信息的txt格式文件。

另外，为了验证电影推荐的影响因素，我们还从网上获取到了部分电影的海报图像。现实生活中，相似风格的电影在海报设计上也有一定的相似性，比如暗黑系列和喜剧系列的电影海报风格是迥异的。所以在进行推荐时，可以验证一下加入海报后，对推荐结果的影响。 电影海报图像在posters文件夹下，海报图像的名字以"mov_id" + 电影ID + ".png"的方式命名。由于这里的电影海报图像有缺失，我们整理了一个新的评分数据文件，新的文件中包含的电影均是有海报数据的，因此，本次实践使用的数据集在ml-1m基础上增加了两份数据：

• posters/ , 包含电影海报图像。
• new_rating.txt， 存储包含海报图像的新评分数据文件。

用户数据、电影数据和评分数据包含的特征样例如下表所示。

 

 

 其中部分数据并不具有真实的含义，而是编号。年龄编号和部分职业编号的含义如下表所示。

 

从样例的特征数据中，我们可以分析出特征一共有四类：

1. ID类特征：UserID、MovieID、Gender、Age、Occupation，内容为ID值，前两个ID映射到具体用户和电影，后三个ID会映射到具体分档。
2. 列表类特征：Genres，每个电影会有多个类别标签，内容是对应着几个ID值的列表。
3. 图像类特征：Poster，内容是一张180*270的图片。
4. 文本类特征：Title，内容是一段英文文本。

因为特征数据有四种不同类型，所以构建模型网络的输入层预计也会有四种子结构。

 

 

如果能将用户A的原始特征转变成一种代表用户A喜好的特征向量，将电影1的原始特征转变成一种代表电影1特性的特征向量。那么，我们计算两个向量的相似度，就可以代表用户A对电影1的喜欢程度。据此，推荐系统可以如此构建：

假如给用户A推荐，计算电影库中“每一个电影的特征向量”与“用户A的特征向量”的余弦相似度，根据相似度排序电影库，取 Top k的电影推荐给A。

 

 

如何获得有效特征

那么，怎么获取两种有效代表用户和电影的特征向量？

首先，我们要明确什么是“有效”？对于用户评分较高的电影，电影的特征向量和用户的特征向量应该高度相似，反之则相异。

我们已经获得到大量评分样本，以此可以构建一个训练模型如下图所示。根据用户对电影的评分样本，学习出用户特征向量和电影特征向量的计算方案（红色箭头）。

 

 

1. 第一层结构：特征变换，原始特征集合变换为两个特征向量。

2. 第二层结构：计算向量相似度。为确保结果与电影评分可比较，两个特征向量的相似度从【0~1】缩放5倍到【0~5】。

3. 第三层结构：计算Loss，计算缩放后的相似度【0~5】与用户对电影的真实评分【0~5】的“平方误差”。

以在训练样本上的Loss最小化为目标，即可学习出模型的网络参数，这些网络参数本质上就是从原始特征集合到特征向量的计算方法，如红色箭头所示。根据训练好的网络，我们可以计算任意用户和电影向量的相似度，进一步完成推荐。

 

 

 基于上面的分析，推荐模型的网络结构初步设想如下。

 

 

将每个原始特征转变成Embedding表示，再合并成一个用户特征向量和一个电影特征向量。计算两个特征向量的相似度后，与训练样本（已知的用户对电影的评分）做损失计算。

但不同类型的原始特征应该如何变换？网络设计的细节是怎样的？我们将在后续几节结合代码实现逐一探讨，包括四个小节：

1. 数据处理。将MovieLens的数据处理成神经网络理解的形式。
2. 模型设计。设计神经网络模型，将离散的文字数据映射为向量。
3. 配置训练参数并完成训练，提取并保存训练后的数据特征。
4. 利用保存的特征构建相似度矩阵完成推荐。