论文浅尝-Improving Neural Fine-Grained Entity Typing with Knowledge Attention

这是一篇来自清华2018年的paper。
文章做的是基于知识注意力机制的细粒度实体分类任务（Fine-Grained Entity Typing）。
任务介绍：
给定一个句子，其中包含一个实体和它的上下文，以及一组实体类型，我们的模型旨在预测所提到的实体的每种类型的概率。
**提出问题：**大多数现有的方法通常分别从实体提及和上下文单词中提取特征来进行实体类型分类。这些方法不能对实体提及和上下文词之间的复杂关系进行建模，同时也忽视了知识库中关于这些实体的丰富背景信息。
贡献：(1)将knowledge base的信息引入特征向量.（2）将实体提及和它们的上下文联系起来，从而提出了融合知识-注意力的神经网络细粒度实体分类模型。
**模型：**模型分为两部分1）将句子s编码成特征向量x的句子编码器。2）类型预测器，通过从x计算y来推断实体类型。

Knowledge Representation Learning：知识表示学习(KRL)是将三元组中的实体和关系的语义信息编码到低维语义空间中，该部分使用TransE。
Sentence encoder：特征向量x包括entity mention representation m、context representations c。

Entity mention representation：

n_m是entity mention的长度，通常是1或2。这里是求entity mention中每个词的向量的均值。
Context representation：

al i 、ar i 分别表示上文的注意力和下文的注意力。
Knowledge Attention：

e是实体m的embedding，WKA是双线性参数矩阵，h是当前实体的上下文embedding。
Type Predictor：类型预测使用的是多层感知机。

**函数采用sigmiod，Wy1 、Wy2是多层感知机中的参数矩阵，ti 是当前实体预测的第i个type，θ代表模型中所有的参数。
目标函数：交叉熵损失函数

y* 真实类型，y代表预测类型。

实验：

欢迎关注博主的公众号！公众号不定期更新机器学习、深度学习、自然语言处理的干货~