读FastText文章
这篇博客主要针对Bag of Tricks for Efficient Text Classification文章的一些理解。主要是介绍FastText算法是速度多块，通过标签预测和情感分析两个任务来说明。
1. 模型的结构，文章中给出了这样的图
上图注解中提到，x1，x2，,xN都是一个词向量，那么hidden是对N个词的词向量求平均，那么具体怎么计算呢？
这个图不是非常直观能看出如何计算的，文章中提到了结构和cbow很类似，于是找到了介绍word2vec的文章，见下图
这里说明几点：
- V表示词典的大小，即一个词的embedding的长度
- C表示词序列的长度
- W对每个词是共享的，这点要注意
Hidden layer怎么算呢？ 文章中也给出公式了
x1，x2，xC均为词向量， V*1 ， W是V*N维，N表示隐藏层的神经元的个数，所以h的结构为N*V*V*1=N*1
对于FastText算法而言，隐藏层的平均同这里是一致的；
2. 损失函数
- 最小化损失函数
- A就是input layer 到hidden layer的矩阵，也就是word2vec中的W
- B就是hidden layer 到 output layer的矩阵，也就是word2vec中的W‘
- 训练中采用SGD ，学习率是线性衰减的
- 这里的xn表示的第n个document的特征集 ，N表示文档的数量,yn表示标签
3.层次SoftMax
如果要分的类是非常非常多的，比如cbow中，需要根据上下文的词预测中间词，中间词的类别是巨大的，等同于词典的数量，
所以word2vec中用到了softmax，那么fasttext中也用到该技术
- 将所有的类别作为二叉树的叶子节点，共有V个类，那么二叉树的内部节点就有V-1个；(这种说法应该针对的是完全二叉树)
- 对于每个叶子节点，都有唯一的从根节点到该叶子节点的路径
- 叶子节点可以用路径来替代
目标函数转变为：
- 要求的参数是
，这个参数对于每个叶子节点也是共享的，其中n(w,j) 中 j表示到w叶子节点要走的第j步
-
这个东西看上去很复杂，实际意思就是走左边的时候，取值为1，走右边，取值为-1
- L(w) 就是走到w的长度，例如L(w2)为4，实际走了三步,所以目标函数中 L(w) 需要 -1 =>>> L(w)-1
- 拿w2举例，目标函数为
- 采用对数似然，那么目标函数就转变为
- 经过一些列推导，得到参数的更新
- 好处：训练的时候，对于每个文本的分类，复杂度从O(V) 降低到O(logV)，参数量由V个变为V-1个
4. 一些实验的结果
基于情感分析8个数据集
- 准确度上
fasttext 用了5个epoch，学习率的集合为 0.05，0.1，0.2，0.5，如果用bigram，那么准确率有1%-4%的提升，如果用trigrams，准确率可以达到97.1%
- 训练时间上，下面是每个epoch的耗费的时间
参考:
https://arxiv.org/pdf/1607.01759.pdf Bag of Tricks for Efficient Text Classification
https://arxiv.org/pdf/1411.2738.pdf word2vec Parameter Learning Explained