Word2Vec概述与基于Hierarchical Softmax的CBOW和Skip-gram模型公式推导

该文档是我在《Word2Vec_中的数学原理详解》基础上做的总结和一些新的描述,增加了代码与公式的对照和公式总汇(公式太多,汇总下看起来更方便),可以更加方便的加深对代码和公式理解。既然是总结,则一些很基础的知识我没有写到,如果里面的有些概念不熟悉,也可以自己查一下,网上资料还是很多的。

本笔记主要是对《Word2Vec中的数学原理详解》的总结和补充,目的是加深自己的理解和认识。 
1、概述 
Word2vec 是 Google 在 2013 年开源的一款将词表征为实数值向量的高效工具。Word2vec 使用的是 Distributed representation 的词向量表示方式。 
Word2Vec原理主要用到的知识点有:Sigmoid函数,Bayes公式和Huffman编码等。

Word2Vec概述与基于Hierarchical Softmax的CBOW和Skip-gram模型公式推导 
Word2Vec概述与基于Hierarchical Softmax的CBOW和Skip-gram模型公式推导 
Word2Vec概述与基于Hierarchical Softmax的CBOW和Skip-gram模型公式推导 
Word2Vec概述与基于Hierarchical Softmax的CBOW和Skip-gram模型公式推导 
Word2Vec概述与基于Hierarchical Softmax的CBOW和Skip-gram模型公式推导 
Word2Vec概述与基于Hierarchical Softmax的CBOW和Skip-gram模型公式推导 
Word2Vec概述与基于Hierarchical Softmax的CBOW和Skip-gram模型公式推导 
Word2Vec概述与基于Hierarchical Softmax的CBOW和Skip-gram模型公式推导 
Word2Vec概述与基于Hierarchical Softmax的CBOW和Skip-gram模型公式推导 
Word2Vec概述与基于Hierarchical Softmax的CBOW和Skip-gram模型公式推导 
Word2Vec概述与基于Hierarchical Softmax的CBOW和Skip-gram模型公式推导 
Word2Vec概述与基于Hierarchical Softmax的CBOW和Skip-gram模型公式推导 
Word2Vec概述与基于Hierarchical Softmax的CBOW和Skip-gram模型公式推导 
Word2Vec概述与基于Hierarchical Softmax的CBOW和Skip-gram模型公式推导 
Word2Vec概述与基于Hierarchical Softmax的CBOW和Skip-gram模型公式推导 
Word2Vec概述与基于Hierarchical Softmax的CBOW和Skip-gram模型公式推导 
Word2Vec概述与基于Hierarchical Softmax的CBOW和Skip-gram模型公式推导 
Word2Vec概述与基于Hierarchical Softmax的CBOW和Skip-gram模型公式推导 
Word2Vec概述与基于Hierarchical Softmax的CBOW和Skip-gram模型公式推导 
Word2Vec概述与基于Hierarchical Softmax的CBOW和Skip-gram模型公式推导 
Word2Vec概述与基于Hierarchical Softmax的CBOW和Skip-gram模型公式推导