Word2Vec概述与基于Hierarchical Softmax的CBOW和Skip-gram模型公式推导

转自：http://blog.csdn.net/liuyuemaicha/article/details/52611219

该文档是我在《Word2Vec_中的数学原理详解》基础上做的总结和一些新的描述，增加了代码与公式的对照和公式总汇（公式太多，汇总下看起来更方便），可以更加方便的加深对代码和公式理解。既然是总结，则一些很基础的知识我没有写到，如果里面的有些概念不熟悉，也可以自己查一下，网上资料还是很多的。

本笔记主要是对《Word2Vec中的数学原理详解》的总结和补充，目的是加深自己的理解和认识。
1、概述
Word2vec 是 Google 在 2013 年开源的一款将词表征为实数值向量的高效工具。Word2vec 使用的是 Distributed representation 的词向量表示方式。
Word2Vec原理主要用到的知识点有：Sigmoid函数，Bayes公式和Huffman编码等。

版权声明：本文为博主原创文章，未经许可禁止转载。只为学习总结，整理时参考资料太多，有些引用没有提及，如有发现，感谢通知并修改！ http://blog.csdn.net/liuyuemaicha/article/details/52611219