计算文本相似度

不仅要考虑语义,还要考虑顺序。
计算距离的方式:余弦,欧式
计算文本相似度
1.向量表示
(1)Distributed representation 最大的贡献就是让相关或者相似的词,在距离上更接近了。
(2)word2vec模型:
通过神经网络机器学习算法来训练N-gram 语言模型,并在训练过程中求出word所对应的vector的方法。利用了词的上下文,语义信息更为丰富.
由于文本的长度各异,我们可能需要利用 所有词向量的平均值作为分类算法的输入值,从而对整个文本文档进行分类处理。
(3)doc2vec
然而,即使上述模型对词向量进行平均处理,我们仍然忽略了单词之间的排列顺序对情感分析的影响。即上述的word2vec只是基于词的维度进行"语义分析"的,而并不具有上下文的"语义分析"能力。除了增加一个段落向量以外,这个方法几乎等同于 Word2Vec。在一个句子或者文档的训练过程中,段落 ID 保持不变,共享着同一个段落向量。
DM 试图在给定上下文和段落向量的情况下预测单词的概率。
DBOW 则在仅给定段落向量的情况下预测段落中一组随机单词的概率。

https://www.cnblogs.com/maybe2030/p/5427148.html
https://www.cnblogs.com/iloveai/p/gensim_tutorial2.html
2.方法
表示为向量,计算距离
https://cloud.tencent.com/developer/news/218062
3.在使用doc2vec时出现了个问题,模型加载1次,同一段文本推测两次向量,两次的结果差距很多?
gensim 的说明文档建议多次训练数据集并调整学习速率或在每次训练中打乱输入信息的顺序。
参考 https://blog.****.net/qimiejia5584/article/details/78975810
https://blog.****.net/leitouguan8655/article/details/80533293
4.Doc2Vec和Logistic回归的多类文本分类
https://www.codercto.com/a/40261.html