embedding是个全连接层（转）

先来看看什么是embedding，我们可以简单的理解为，将一个特征转换为一个向量。在推荐系统当中，我们经常会遇到离散特征，如userid、itemid。对于离散特征，我们一般的做法是将其转换为one-hot，但对于itemid这种离散特征，转换成one-hot之后维度非常高，但里面只有一个是1，其余都为0。这种情况下，我们的通常做法就是将其转换为embedding。

embedding的过程是什么样子的呢？它其实就是一层全连接的神经网络，如下图所示：

假设一个特征共有5个取值，也就是说one-hot之后会变成5维，我们想将其转换为embedding表示，其实就是接入了一层全连接神经网络。由于只有一个位置是1，其余位置是0，因此得到的embedding就是与其相连的图中红线上的权重。

作者：文哥的学习日记
链接：https://www.jianshu.com/p/e8986d0ff4ff
来源：简书
著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。