面向语义对比分析的词嵌入

文献：Chen Z, Lin W, Chen Q, et al. Revisiting Word Embedding for Contrasting Meaning[C] ACL 2015: 106-115.

基本思想

现有的词嵌入模型都是建立在“分布式语义”的假设之上，即“具有相似上下文的词语具有相似语义”，而语义具有对比意义的不同词往往具有相似的上下文. 因而，这些模型难以胜任语义对比分析的任务。

提出如下框架：
面向语义对比分析的词嵌入
（1）Top Hidden Layer负责将词对比语义的各种嵌入表示（SCE、CRM、SDR）集成；
（2）Contrast Inference Layer 负责嵌入表示： CRM与SDR为现有方法，MCE为本文提出的方法。

启发于Hinton 提出的随机邻域嵌入(stochastic neighbor embedding, SNE)思想“原始空间与嵌入空间中，目标词的邻居分布大致相同”，本文提出SCE(stochastic constrasting embedding),SCE具有如下特征：

在原始空间与嵌入空间中the distribution of the contrasting “neighbors” to be close to the distribution of the “neighbors”
利用词典中的反义词学习constrasting neighbors
在原始空间与嵌入空间中, 词wk的具有对比语义邻居词语集与具有相似语义邻居词语集大致不变

词wk属于词wi的邻居的概率为：p(wk|wi)=exp(−d2i,k)∑|V|m≠iexp(−d2i,m)

-子目标1：objs=∑(wi,wj)∈Smax{0,α−dir+dij}

-子目标2: obja=∑(wi,wk)∈Smax{0,β−dir+dik}

-综合目标: obj=(1−λ)∗objs+λ∗obja

目标1中的dij表示目标词wi与其同义词wj之间的距离，dir表示目标词wi与其随机无关词wr之间的距离；
目标2中的dij表示目标词wi与其反义词wk之间的距离，dir表示目标词wi与其随机无关词wr之间的距离.

运用点对互信息PMI(Pointwise Mutual Information)对每个词赋予3维语义：evaluative (good-bad), potency (strong-weak), activity(active-passive)，可分别用如下公式计算：

eval(w)=PMI(w,eval+)−PMI(w,eval−)
potency(w)=PMI(w,potency+)−PMI(w,potency−)
activity(w)=PMI(w,activity+)−PMI(w,activity−)

∗−与∗+分别表示对应维度值的种子词。
可以参阅Saif M. Mohammad, Bonnie J. Dorr, Graeme Hirst, and Peter D. Turney. 2013. Computing lexical contrast. Computational Linguistics, 39(3):555–590.