Knowledge-aware Graph Neural Networks with Label Smoothness Regularization for Recommender Systems

Label Smoothness Regularization

  因为与传统的GNN不同,边的权重是可以学习的,而且在钱箱传播的过程中,还有w的参数需要学习。为了防止过拟合,而且由于边的权重的重要性,因此需要刚过的约束。作者在这里使用了Label Smoothness Regularization。具体的公示内容没有看懂。为了这个正则化和可学习的gnn网络,作者提出了一个独特的损失函数。
Knowledge-aware Graph Neural Networks with Label Smoothness Regularization for Recommender Systems

直观理解

Knowledge-aware Graph Neural Networks with Label Smoothness Regularization for Recommender Systems
  每个实体/项目被视为粒子,而受监督的积极用户相关性信号充当从观察边界向上拉动观察到的正项目的力,并且负项目信号充当推动未观察到的项目的力。如果没有KG(图2a),这些项目只能通过协同过滤效果松散地相互连接(这里没有为了清晰起见)。相比之下,KG中的边缘充当橡皮筋,对连接的实体施加明确的约束。当层数为L = 1时(图2b),每个实体的表示是其自身及其直接邻居的混合,因此,对正项进行优化将同时将它们的直接邻居拉到一起。随着L的增加,KG的向上力更深(图2c),这有助于探索用户的远程兴趣并获得更多积极的项目。值得注意的是,KG所施加的邻近约束是个性化的,因为橡皮筋的强度(即su(r))是用户特定的和关系特定的:一个用户可能更喜欢关系r1(图2b)而另一个用户(具有相同的观察项目但不同的未观察项目)可能更喜欢关系r2(图2d)。
  尽管KG中的边缘施加了力,但是边缘重量也可以设置不当,例如,太小而不能拉起未服务的物品(即橡皮筋太弱)。接下来,我们通过图2e显示标签平滑度假设如何帮助规范学习权重。 假设我们在左上方拿出正样本,我们打算通过其余项目重现其标签。由于保持样本的真实相关性标签为1且右上样本具有最大标签值,因此LS正则化项R(A)将强制带有箭头的边缘变大,以便标签可以“流动” 蓝色的那个尽可能多的条纹。 结果,这将收紧橡皮筋(用箭头表示)并鼓励模型更大程度地拉起两个上部粉红色物品。