word2vec算法理解和数学推导

从字面意思就可以理解word2vec是把文本转换成向量，那么文本如何转换成向量呢，最简单的方法大家都会想到独热编码，但是独热编码的缺点也很明显，首先独热编码向量是正交的，任何两个独热编码相乘都等于0，所以无法通过任何的计算来得到两个词的相似度；还有一个原因就是维度过大，比如100000个词汇用独热编码表示成向量，就会有100000个维度，简直就是维度灾难。所以一般来说，在词语向量化的时候都不使用独热编码的方法，那么我们如何通过向量来表达词语的意思呢，我们可以通过调整一个单词和这个单词上下文单词的向量，使得根据两个向量来推测出两个词语的相似度，或者根据向量来推测上下文。
word2vec是一个最常见的转词向量的框架，里面包含了Skip-grams(SG)和Continuous Bag of Words(CBOW)，这两种算法的最大区别就是Skip-grams(SG)算法是通过中心词汇推测上下文，而CBOW是通过上下文预测中心词。我们来看Christopher Manning教授的SG模型：

我们可以看到中心词汇是banking，这个是我们的input word，m是我们词语窗口的长度，表示中心词语前后的m个词语，整个模型中只有一个条件分布，因为这是一个词袋模型，与位置是无关的，所以我们的目的就是最大化这些概率。首先我们来定义一个目标函数，我们把目标函数定义为我们预测结果的乘积：
$J'(\theta ) = \prod\limits_{t = 1}^T {\prod\limits_{\mathop { - m \leqslant j \leqslant m}\limits_{j \ne 0} } {p({w_{t + j}}|{w_t};\theta )} }$J′(θ)=t=1∏T​j̸​=0−m⩽j⩽m​∏​p(wt+j​∣wt​;θ)
这里我们就需要优化这个目标函数使其最大化，$T$T表示总的词数量，每一个词前后m个词的概率我们都要计算，为了方便计算，我们可以吧这个目标函数换一种形式，得到损失函数，这里我们用的是对数似然的相反数：
$J(\theta ) = - \frac{1}{T}\sum\limits_{t = 1}^T {\sum\limits_{\mathop { - m \leqslant j \leqslant m}\limits_{j \ne 0} } {\log P({w_{t + j}}|{w_t})} }$J(θ)=−T1​t=1∑T​j̸​=0−m⩽j⩽m​∑​logP(wt+j​∣wt​)
在这个公式中，我们得到的$P({w_{t + j}}|{w_t})$P(wt+j​∣wt​)是通过softmax得到的，那么我们将向量带入softmax公式可以得到：
$P(o|c) = \frac{{\exp (u_o^T \cdot {v_c})}}{{\sum\limits_{w = 1}^V {\exp (u_w^T \cdot {v_c})} }}$P(o∣c)=w=1∑V​exp(uwT​⋅vc​)exp(uoT​⋅vc​)​
在这个公式中$o$o是指上下文中某一个词，$c$c是指中心词；$u$u是指对应的上下文词向量，$v$v是指词向量，那么${u_o}$uo​表示指定的那个词的上下文向量，${v_c}$vc​表示中心词的词向量，这么看来，损失函数就比较容易理解了。这里的softmax大家也是比较了解的，就是将得分的实数转换成一个归一化的概率分布。下图就是整个skip-grams的算法流程以及每一步的解释：

由上图就可以清楚地知道SG算法每一步的流程以及意义了，里面向量的数字不代表真实意思，是瞎编的，重要的是流程，最终我们的损失函数就是比对真实向量与我们计算出来的答案的差距，要最小化损失函数，最大化输出概率。那么怎么去学习这个模型呢，怎么去最小化损失函数呢？肯定是梯度下降法了，所以对损失函数的Vc求偏导，把常数去掉之后，损失函数就可以表示成：
$\log \frac{{\exp (u_o^T \cdot {v_c})}}{{\sum\limits_{w = 1}^V {\exp (u_w^T \cdot {v_c})} }}$logw=1∑V​exp(uwT​⋅vc​)exp(uoT​⋅vc​)​
接着我们对损失函数的Vc求偏导，就可以得到：
$\frac{\partial }{{\partial {v_c}}}J(\theta ) = \frac{\partial }{{\partial {v_c}}}\log \frac{{\exp (u_o^T \cdot {v_c})}}{{\sum\limits_{w = 1}^V {\exp (u_w^T \cdot {v_c})} }}$∂vc​∂​J(θ)=∂vc​∂​logw=1∑V​exp(uwT​⋅vc​)exp(uoT​⋅vc​)​
对数内部的除法相当于对数外部的减法，那么这个式子可以表示成：
$\frac{\partial }{{\partial {v_c}}}\log \exp (u_o^T \cdot {v_c}) - \frac{\partial }{{\partial {v_c}}}\log \sum\limits_{w = 1}^V {\exp (u_w^T \cdot {v_c})}$∂vc​∂​logexp(uoT​⋅vc​)−∂vc​∂​logw=1∑V​exp(uwT​⋅vc​)
然后我们再把这整个式子看成两个部分，首先是第一个部门，因为指数之后再求对数还是本身，所以第一项可以表示成：
$\frac{\partial }{{\partial {v_c}}}\log \exp (u_o^T \cdot {v_c}) = \frac{{\partial (u_o^T \cdot {v_c})}}{{\partial {v_c}}} = {u_o}$∂vc​∂​logexp(uoT​⋅vc​)=∂vc​∂(uoT​⋅vc​)​=uo​
所以第一项就是$u_o$uo​，我们再来看第二部分的计算：
$\frac{\partial }{{\partial {v_c}}}\log \sum\limits_{w = 1}^V {\exp (u_w^T \cdot {v_c})}$∂vc​∂​logw=1∑V​exp(uwT​⋅vc​)
对于这种复杂的复合函数求偏导，首先我们就会想到的是复合函数的链式求导法则，那么这个第二项求偏导可以有如下推导：
$\frac{1}{{\sum\limits_{w = 1}^V {\exp (u_w^T \cdot {v_c})} }} \cdot \sum\limits_{x = 1}^V {\exp (u_x^T \cdot {v_c})} \cdot \frac{{\partial (u_x^T \cdot {v_c})}}{{\partial {v_c}}} \\ = \frac{1}{{\sum\limits_{w = 1}^V {\exp (u_w^T \cdot {v_c})} }} \cdot \sum\limits_{x = 1}^V {\exp (u_x^T \cdot {v_c})} \cdot {u_x} = \sum\limits_{x = 1}^V {\frac{{\exp (u_x^T \cdot {v_c})}}{{\sum\limits_{w = 1}^V {\exp (u_w^T \cdot {v_c})} }}} \cdot {u_x}$w=1∑V​exp(uwT​⋅vc​)1​⋅x=1∑V​exp(uxT​⋅vc​)⋅∂vc​∂(uxT​⋅vc​)​=w=1∑V​exp(uwT​⋅vc​)1​⋅x=1∑V​exp(uxT​⋅vc​)⋅ux​=x=1∑V​w=1∑V​exp(uwT​⋅vc​)exp(uxT​⋅vc​)​⋅ux​
然后这个式子中间的部分正好可以看成是softmax：
$\frac{{\exp (u_x^T \cdot {v_c})}}{{\sum\limits_{w = 1}^V {\exp (u_w^T \cdot {v_c})} }} = P(x|c)$w=1∑V​exp(uwT​⋅vc​)exp(uxT​⋅vc​)​=P(x∣c)所以这么一来，整个第二项就可以看成是：
$\sum\limits_{x = 1}^V {P(x|c) \cdot {u_x}}$x=1∑V​P(x∣c)⋅ux​
这整个式子可以看成是x词在中心词出现的情况下出现的概率，然后乘以x词上下文的向量，这样就是上下文向量的期望了，所以整个第二项就是所有的上下问向量的平均期望。那么整个损失函数可以表示成：
$J(\theta ) = {u_o} - \sum\limits_{x = 1}^V {P(x|c) \cdot {u_x}} = observed - expected$J(θ)=uo​−x=1∑V​P(x∣c)⋅ux​=observed−expected
就是观测值真实值减去期望值，所以我们就要最小化损失函数，让期望值和真实值尽可能接近，通过整个推导过程就很容易理解skip-grams的算法流程和数学推导，希望可以帮助大家对词向量算法的理解有所帮助，文中如有纰漏，也请各位朋友不吝指教，如有转载，也请标明出处，谢谢大家。