word2vec skip-gram

关于输入,表面来看是一个onehot,例如训练文本有10000个不重复的单词,每个单词是10000维的onehot。e嵌入矩阵是10000300维的,初始化一个后通过训练找到最好的e。网络的目的是找到一个最好的e。
word2vec skip-gram
e就是上图的W
貌似无数地方都漏过了到底是怎么进行的
输入10000维向量乘e(10000
300维)变成300维的隐含层 然后经过300*10000维的w·向量变成10000维的输出向量 通过softmax得到每个位置的单词(onehot中每个位置代表一个单词)是输出单词的概率与真正的输出单词的onehot做损失函数来调整参数。
word2vec skip-gram