理解Doc2Vec的一些提示

启文

  Doc2Vec思想源于Word2Vec,Doc2Vec论文中只说明灵感来源于Word2Vec,但是没说明具体怎么实现,我对Word2Vec理解算比较深的了,看了老久没看懂论文Doc2Vec,怀疑是翻译能力问题,百度了一下中文的解释。然后还是在论文中的图解释上看懂了,注意力忽略了。

提示

  1)要看懂Doc2Vec必须先看懂Word2Vec,word2Vec原始论文很少有人看得懂,给我另外一篇文章简单易懂解释Word2Vec:
https://blog.****.net/LearnToPain/article/details/106587785
  2)Doc2Vec原始论文的下载路径:
https://cs.stanford.edu/~quocle/paragraph_vector.pdf

Doc2Vec

全论文就这张图是灵魂:
理解Doc2Vec的一些提示
这下面是上图字母的部分解释:
理解Doc2Vec的一些提示

解释

英文不想看?没关系,这里解释一下,
  DD是一个矩阵,如果以文章为单位,矩阵的列数是文章数;如果以段落为单位,矩阵的列数是所有文章合并(串一起)后的段落数(如果只有一篇就不用合并了);如果以句子为单位,矩阵的列数是所有文章所有句子的合并(串一起)后的句子数。每一列就是一篇文章(或者段落,或者句子)。
  WW也是一个矩阵,和DD不同,图中的3个WW都是同一个矩阵,这个矩阵是记录所有的文章合并后的词的向量,换句话说就是列数就是总的词样个数(词去重后的个数)。

这里有个特殊说明:图中的 “the”、“cat”、“sat”,都是paragraph id 对应段落中的词。

理解到这里就已经很清楚了,结合Word2Vec的过程,就很容易理解向量是怎么训练出来的了。