FM

论文背景：

FFM（Field-aware Factorization Machine）最初的概念来自Yu-Chin Juan（阮毓钦，毕业于中国台湾大学，现在美国Criteo工作）与其比赛队员，是他们借鉴了来自Michael Jahrer的论文[14]中的field概念提出了FM的升级版模型。通过引入field的概念，FFM把相同性质的特征归于同一个field。

摘要

点击率(CTR)预测在计算式广告中起着重要的作用。基于2次多项式映射和因子分解机(FMs)的模型被广泛用于这一任务。最近，FMs的一个变种，fieldaware factorization machines (FFMs)，在一些世界范围的ctr预测比赛中超过了现有的模型。基于我们赢得其中两项的经验，在本文中，我们建立FFMs作为一个有效的方法来分类大稀疏数据，包括那些来自CTR预测。首先，我们提出了培训FFMs的有效实现。然后对FFMs进行了全面的分析，并与竞争模型进行了比较。实验表明，FFMs对于某些分类问题是非常有用的。最后，我们发布了一个供公众使用的FFMs包。

1.介绍

点击率(CTR)预测在广告业中发挥着重要作用[1,2,3]。Logistic回归可能是这个任务[3]最广泛使用的模型。给定一个有m个实例的数据集(yi,xi)，i = 1，…，m，其中yi为标签，xi为n维特征向量，通过求解以下优化问题得到模型w。


在问题(1)中，拟合参数是正则化参数，在损失函数中考虑线性模型

了解特征连词的影响似乎是CTR预测的关键;比如[1]。这里，我们考虑表1中的人工数据集，以便更好地理解特征连接。古驰的广告在《时尚》杂志上有特别高的点击率。然而这个信息对于线性模型来说是很难学习的，因为他们分别学习了两个权重Gucci和Vogue。为了解决这个问题，我们使用了两个模型来学习特征连接的效果。第一个模型是2阶多项式映射【 degree-2 polynomial mappings】(Poly2)[4,5]，为每个特征连接学习一个专门的权重。第二个模型，因子分解机器(FMs)[6]，通过将其分解为两个潜在向量的乘积来学习特征结合的效果。我们将在第2节讨论关于Poly2和FMs的细节。

   提出了一种基于双互作用张量因子分解(PITF)的个性化标签推荐方法。在2012年的KDD Cup中，Team Opera Solutions[8]提出了PITF的一种推广方法，称为factor model。由于这一术语过于笼统，容易与因子分解机混淆，因此在本文中我们将其称为场感知因子分解机(FFMs)。PITF与FFM的不同之处在于PITF考虑用户、项目和标签三个特殊字段，而FFM则更为通用。由于[8]是关于竞争的整体解决方案，对FFM的讨论是有限的。在[8]中我们可以得出以下结论：
【8】：协同过滤与特征工程模型的集成，用于点击率预测
1.他们采用随机梯度法(SG)求解优化问题。为了避免过度拟合，他们只训练一个时期。
2.FFM在他们尝试的六种模型中表现最好

在本文中，我们旨在具体建立FFM作为CTR预测的一种有效方法。我们的主要研究结果如下。

• 虽然FFM在[8]中被证明是有效的，但这项工作可能是唯一发表的将FFM应用于CTR预测问题的研究。为了进一步证明FFM在CTR预测方面的有效性，我们将FFM作为我们的主要模型，在Criteo和Avazu主办的两场全球CTR比赛中获胜。
• 我们将FFMs与两种相关模型Poly2和FMs进行了比较。我们首先从概念上讨论为什么FFMs可能比它们更好，并进行实验来看看精确性和训练时间方面的差异。
• 我们介绍了培训FFMs的技术。它们包括一个有效的FFMs并行优化算法和使用早期停止以避免过拟合。
• 为了使FFMs能够供公众使用，我们发布了一个开源软件。

  本文组织如下。在第3节介绍FFMs及其实现之前，我们将在第2节讨论现有的两种模型Poly2和FMs。第四节是FFMs与其他模型的比较实验。最后，结论和未来的方向在第5节。
  本文实验使用的代码和LIBFFM包可在以下地址获得

http://www.csie.ntu.edu.tw/˜cjlin/ffm/exps
http://www.csie.ntu.edu.tw/˜cjlin/libffm