BiLSTM顶部的CRF层-4

BiLSTM顶部的CRF层-4

2.4真实路径得分

在第2.3节中,我们假设每个可能的路径都有一个分数Pi,而且总共有N条路,所以总分:
BiLSTM顶部的CRF层-4
显然,在所有可能的路径中必须有一条路径是真实的。例如,第1.2节中句子的实际路径是“START B-Person I-Person O B-Organization O END”。其他的都是错误的路径:“START B-Person B-Organization O I-Person I-Person B-Person”。eSN是第i条路径。
在训练过程中,crf损失函数仅需要两个分数:真实路径的分数和所有可能路径的总分数。实际路径分数在所有可能路径的分数中所占的比例将逐渐增加。
采取我们之前使用的真实路径“START B-Person I-Person O B-Organization O END”举例:

  1. 我们有一个句子5个单词,w1,w2,w3,w4,w5
  2. 增加两个额外的词,起始与结束 w0,w6
  3. Si包含两个部分,Si=EmissionScore+TransitionScore
    Emission Score:
    BiLSTM顶部的CRF层-4
    TransitionScore
    BiLSTM顶部的CRF层-4

2.5所有可能路径的总分

通过分步示例计算句子的所有可能路径的总分。

本部分将是最重要且有点困难的部分之一。

本篇blog翻译自https://createmomo.github.io/2017/10/17/CRF-Layer-on-the-Top-of-BiLSTM-4/,有需要请移步至此。