Word2Vec

NLP非常核心、非常重要、非常基础的技术

Word2Vec就是用神经网络把词转换成向量的模型

 

Word2Vec的发展

WordNet是Word2Vec的鼻祖

 

Word2Vec是2013年由Mikolov提出

 

Word2Vec模型

 

 

man比woman和king更像

所以可以看出，词之间也有远近关系的

 

Word2Vec的不足

①使用了唯一的词向量，对于多义词没有很好的效果

②context很小，没有使用全局的cooccur 对cooccur的利用少

 

Word2Vec的两个模型——CBOW和Skip-Gram

CBOW和Skip-Gram相反

 

CBOW是根据上下文来预测一个词

       例如一个句子，“我爱机器学习”，我们输入我、机器学习，让它预测爱

Skip-Gram是根据一个词，来预测其上文和下文

 

 

CBOW连续词袋模型

CBOW, Continous Bag of Word Model

和正常的神经网络一样，都是加权求和，即对wx+b求和，然后通过softmax得到的概率最大的词作为我们的结果

 

CBOW的特点

①没有隐层

       Word2Vec是一个千层的神经网络

②结合双向上下文，上下文词序无关

③输入低维稠密，映射层求和

     输入是低维稠密，所以计算量还是比较大的

     映射层即上图的PROHECTION

 

网络结构

 

 

Skip-Gram模型

没有隐层

映射层也可以省略

输入爱，输出我，机器学习

当然，输出什么结果，即预测出什么结果，是和语料数据集有关系的

 

网络结构