基于ernie的语义连续性

主要是针对文本中上下文是否存在具有语义的连续性,如上文是:“我喜欢”,下文是:“从事自然语言工作”,从而判断两个句其实是连续的。主要思想是根据ernie模型对掩码的训练(词而不是全为字符如bert),当然也可以通过改造bert达到效果,如果掩盖mask该词,对该词进行掩码预测,计算该词的损失值,如果该损失值较小,则说明语义是连续的。

一、业务框架

基于ernie的语义连续性

二、技术架构

基于ernie的语义连续性

三、参考文献

https://github.com/PaddlePaddle/ERNIE

四、联系方式

如果有任何问题,可联系我
联系人:钟 夫
邮箱:[email protected]

具体的代码,请见github地址:https://github.com/jackyRabbit/senmatics_ernie