1.模型总结

• 早期的研究工作是基于统计方法。

  • 研究了基于树的内核(Zelenko et al.， 2002)和
  • 基于依赖路径的内核(Bunescu and Mooney, 2005)，以提取这种关系。
  • McDonald等人(2005)构建最大的实体团来预测关系。
  • Mintz等人(2009)在统计分类器中包含语法特征。

• 基于序列的模型利用不同的神经网络来提取关系，包括

  • 卷积神经网络(Zeng et al.， 2014;Nguyen和Grishman, 2015年;(Wang et al.， 2016)，
  • 递归神经网络(Zhou et al.， 2016;Zhang et al.， 2017)
  • 两者的结合(Vu et al.， 2016)和
  • transformer (Verga et al.， 2018)。

• 基于依赖的方法还试图将结构信息合并到神经模型中。

  • 基本：依赖树+剪枝
  • Peng et al.(2017)首先将依赖关系图分成两个dag，
    • 然后将树LSTM模型(Tai et al.， 2015)扩展到这两个图上进行n元关系提取。
  • Song等人(2018b)使用图递归网络(Song等人，2018a)直接对整个依赖图编码，而不破坏它。
    • AGGCN:和他们的模型的对比让人联想到CNN和RNN的对比。
  • 为了进一步提高性能，还提出了各种各样的裁剪策略来提取依赖信息。
    • Xu等(2015b,c)采用神经模型编码最短依赖路径。
    • Miwa和Bansal(2016)将LSTM模型应用于两个实体的LCA子树。Liu等(2015)将最短依赖路径与依赖子树相结合。
    • Zhang等人(2018)采用了一种以路径为中心的修剪策略。
    • AGGCNs:与这些在预处理中去除边缘的策略不同，我们的模型以端到端的方式学会给每个边缘分配不同的权重
      • 比较：与基于顺序的模型相比，基于依赖的模型能够捕获仅从表面形式难以理解的非局部句法关系(Zhang et al.， 2018)。
      • 软剪枝，GCN+attention+densely connection
      • 端到端自动学习的剪枝—attention（自动筛去无关信息）
      • densely connection:
        • 可以更深，
        • 可以得到更好的表示
        • 可得到局部/非局部依赖信息

• sequence-based（基于序列的）

  • 只对单词序列进行操作(Zeng et al.,2014; Wang et al., 2016)

1.2 dependency-based（基于依赖的）

• AGGCNs（软剪枝）
• 剪枝策略（硬剪枝）
  • Xu等人(2015b,c)只在全树实体之间的最短依赖路径上应用神经网络。
  • Miwa和Bansal(2016)将整个树缩减为实体的最低共同祖先(LCA)之下的子树。
  • Zhang等(2018)将 (GCNs) (Kipf and Welling, 2017)模型应用于修剪过的树。
    • 这棵树包含从LCA子树的依赖路径到K的标记。

2.应用

• 关系抽取用于
  • biomedical knowledge discovery (Quirk and Poon, 2017),
  • knowledge base population (Zhang et al., 2017)
  • question answering (Yu et al., 2017).

3.模型细说

3.1 AGGCNs

• AGGCNs（注意引导图卷积网络）
  • 输入：全依赖树（ full dependency trees
  • 特点
    • 端到端
    • $\approx$≈软剪枝方法
      • 基于规则的硬剪枝会消除树中的部分重要的信息。
      • 给所有边分配权重，权重以端到端的形式学习得到–>自动学习剪枝
    • 自动学习如何有选择地关注对re有用的相关子结构。
    • 效果好
    • 可并行地用于依赖树
    • 对大图（长句子）友好
    • 更有效地利用训练数据
    • tips
      • GCN+dense connection
        • 目的：对一个大的全连通图进行编码
        • 可得到局部和非局部依赖信息
        • 2层GCN效果最好（经验）
        • 可以学到更好的图形表示
  • 可用于
    • n元关系提取
    • 大规模句子级别语料
    • 效果更好
  • 结构
    • M块
      • 每块三层

        • Attention Guided Layer–>N个attention-head

          • $\tilde{A}^{(t)}=softmax(\frac{QW_i^Q\times (KW_i^K)^T}{\sqrt{d}})V$A~(t)=softmax(d​QWiQ​×(KWiK​)T​)V
          • 优点：
            • 给所有边分配权重，权重以端到端的形式学习得到
            • 实现自动学习剪枝

        • Densely connection Layer–>L个子层

          • 带densely connection的GCN
            • 优点：
              • 在密集连接的帮助下，我们能够训练更深的模型，
              • 允许捕获丰富的局部和非局部信息，从而学习更好的图表示。
          • $g_j^{(l)}=[x_j;h_j^{(1)};...;h_j^{(l-1)}]$gj(l)​=[xj​;hj(1)​;...;hj(l−1)​]
          • $h_{ti}^{(l)}=\rho(\Sigma_{j=1}^n\tilde{A}^{(t)}_{ij}W^{(l)}_tg_j^{(l-1)}+b_t^{(l)})$hti(l)​=ρ(Σj=1n​A~ij(t)​Wt(l)​gj(l−1)​+bt(l)​)

        • 线性层

          • $h_{comb}=W_{comb}h_{out}+b_{comb}$hcomb​=Wcomb​hout​+bcomb​
    • FFNN汇总
      • $h_{sent}=f(h_{mask})=f(AGGCN(x))$hsent​=f(hmask​)=f(AGGCN(x))
      • $h_{e_i}=f(h_{e_i}'),h_{e_i}':第i个实体的隐层表示$hei​​=f(hei​′​),hei​′​:第i个实体的隐层表示
      • $h_{final}=FFNN([h_{sent};h_{e_1};...;h_{e_i}])$hfinal​=FFNN([hsent​;he1​​;...;hei​​])–前馈神经网络连接
    • LR分类器

4.关系提取数据集

4.1 句子级

• TACRED数据集：（收费的-可能的购买链接？）
  • 介绍
    • TACRED数据集有超过106K个实例，它引入了41种关系类型和一种特殊的“无关系”类型来描述实例中提及对之间的关系。主题提及分为“个人”和“组织”两类，而对象提及分为16种细粒度类型，包括“日期”、“位置”等。
  • 大型句子级提取任务
  • 使用过它的model：
    • AGGCNs
    • (Zhang et al., 2018)
• Semeval-10 Task 8
  • 句子级提取任务
  • 介绍
    • 它包含10717个实例，包含9个关系和一个特殊的“other”类。
    • 比TACRED小，仅为1/10
  • 使用过它的model:
    • AGGCNs
    • (Hendrickx et al., 2010)

4.2 n-ary关系

• PubMed (Peng et al.， 2017)
  • n元关系
  • 包含从PubMed中提取的6,987个三元关系实例和6,087个二元关系实例。
  • 介绍
    • 大多数实例包含多个句子，每个实例都被分配了以下五种标签中的一种，包括抵抗或不响应、灵敏度、响应、抵抗和无。我们考虑两个具体的评价任务，即:二类n元关系提取和多类n元关系提取。对于二元n元关系提取，(Peng et al.， 2017)将四个关系类分组为yes，将none处理为no来对多类标签进行二值化。
  • model
    • AGGCNs
    • (Peng et al.， 2017)

5.各种model的效果

• 基于特征的model
  • 对于不平衡的数据集：倾向于得到更高的precision，但recall低
• 神经model:
  • 可以得到一个均衡的precision和recall

5.1 n-ary

5.1.1 PubMed (Peng et al.， 2017)

5.2 句子级别

5.2.1 TACRED

5.2.2 SemEval