图神经网络学习记录

概述

图（Graph）数据包含着十分丰富的关系型信息。从文本、图像这些非结构化数据中进行推理学习，例如句子的依赖树、图像的场景图等，都需要图推理模型。图网络（Graph neural networks）是一种链接主义模型，它靠图中节点之间的信息传递来捕捉图中的依赖关系。

图神经网络(GNN)

基本思想

图神经网络的一个基本思想就是基于节点的局部邻居信息对节点进行embedding。直观来讲，就是通过神经网络来聚合每个节点及其周围节点的信息。

图神经网络的几个性质如下：

1. 节点在每一层都会有embedding
2. 模型可以达到任意深度
3. 第零层的节点的embedding就是他的输入特征向量

获取它的邻居节点的信息嘴基本的想法就是聚合一个节点的邻居节点信息时采用平均的方法，并使用神经网络进行聚合操作，具体方法如下：

训练这个模型，具体方法分为监督和无监督两种方法。
无监督的方法包括：

• 随机游走(Random walks):node2vec,Deepwalk
• 图分解
• 训练模型使得相似的节点具有相似的embedding

监督的方法，以二分法为例，可以定义一个交叉熵函数作为损失函数：

图神经网络中每一层的聚合所使用的参数是相同的，并且这个模型可以推理出新出现节点的embedding或者一个新图的embedding，如下图：

图卷积神经网络(GCN)

与GNN相比，GCN只是在聚合函数上有一定的改变

图注意力网络(GAT)

在基础的图神经网络上加上了注意力机制，需要去学习每个节点的注意力权重。