NLP

NLP入门学习路线 word2vec 原理分析

NLP主要研究方向

NLP入门学习路线 word2vec 原理分析

NLP流程

NLP入门学习路线 word2vec 原理分析

NLP学习

看了nlp的一般任务的流程，决定从embedding入手好好学习。

embedding

万物皆可embedding。已经忘记了是谁说的了，肯定有人说过。
为什么embedding，最终的目的是为了形成能够让计算机理解的形式。
那么one hot 也可以做到，为什么不用？
1.one hot确实是计算机可以理解的形式，但会引入维度灾难
2.one hot没法代表两个词之间的关系，比如like 和love应该是意思相近的词（中国人的视角），但是如果用one hot就没法度量了。
NLP入门学习路线 word2vec 原理分析
所以embedding的目的主要有以上两个。

word embedding

一下主要说明word2vec的原理，不涉及实现，主要在skipgram 以及负采样，且窗口大小均取为2。

word2vec

skipgram

NLP入门学习路线 word2vec 原理分析
用中心词去预测左边2【窗口大小】个词和右边两个词。

但是为了提高速度，参考上面最后一个链接，修改了一下模型，如下所示

输入数据就要重新构造，变化如下：
此时样本target都是1，模型肯定是学不出来东西的，所以需要负采样，即将非窗口内的word作为负样本统计出来 NLP入门学习路线 word2vec 原理分析
具体做法需要再深入研究。