基于ernie的语义连续性
主要是针对文本中上下文是否存在具有语义的连续性,如上文是:“我喜欢”,下文是:“从事自然语言工作”,从而判断两个句其实是连续的。主要思想是根据ernie模型对掩码的训练(词而不是全为字符如bert),当然也可以通过改造bert达到效果,如果掩盖mask该词,对该词进行掩码预测,计算该词的损失值,如果该损失值较小,则说明语义是连续的。
一、业务框架
二、技术架构
三、参考文献
https://github.com/PaddlePaddle/ERNIE
四、联系方式
如果有任何问题,可联系我 联系人:钟 夫 邮箱:[email protected]
具体的代码,请见github地址:https://github.com/jackyRabbit/senmatics_ernie