Fi-GNN——通过GNN对特征交互建模进行CTR预测

一. CTR（Click-through rate）简介

1. CTR=实际点击数/点击率；
2. CTR预测是一个分类问题 ，预测用户是否点击目标项目；
3. 是一个重要任务在推荐系统和在线广告平台等。

二. Fi-GNN

• 已有模型的缺点
  特征之间的交互是灵活显性的，而无结构的特征组合无法很好地进行提取。

• Fi-GNN的创新点

  • 在图结构上以更灵活和明确的方式对特征之间的复杂交互进行建模。
  • 图(graph)中的每个节点(node)都对应一个特征(field)，并且不同的特征可以通过边(edge)进行交互。 因此，可以将对特征之间的复杂交互转换为对特征图上的节点的交互。
  • 在每个时间步，节点都与邻居进行更深一层的交互。 特征交互程度量等于交互步数。
  • 边的权重代表了不同特征进行交互的重要性，节点的权重代表了每个特征的重要性。
    

• 具体做法

  • Embedding Layer
    E = [ e 1 , e 2 , e 3 , … , e m ] , e i ∈ R d , E ∈ R m × d E=[e_1, e_2, e_3, …, e_m],e_i \in \mathbb{R}^d,E \in \mathbb{R}^{m×d} E=[e1​,e2​,e3​,…,em​],ei​∈Rd,E∈Rm×d

  • Multi-head Self-attention Layer 捕捉成对特征的复杂依赖
    

  • 构建Feature Graph
    加权的全连接图，其中边的权重则反映了不同特征交互的重要性。

  • Feature Interaction Graph Neural Network
    
    在每个交互步(interaction step)中，每个节点聚合邻居节点的状态信息，然后根据其聚合信息和历史信息通过GRU和残差连接更新其节点状态。

  1. 状态聚合（在交互步骤t，每个节点将汇总来自邻居的状态信息）
     转换函数和邻接矩阵决定节点的交互作用。
     

     a. 转换函数
     

     b. 邻接矩阵
     

  2. 状态更新
     

  • Attentional Scoring Layer
    We need a graph-level output to predict CTR.