VectorAssembler的稀疏向量转密集向量

分类: 文章 • 2024-07-28 16:35:40

在通过VectorAssembler将多列特征值和并后，由于spark存储格式的原因，会将含有很多0值的一行转为稀疏向量sparseVector
进行存储。然而在后续计算过程中，我们需要的是密集向量，所以需要将稀疏向量转为密集向量。

1.先通过VectorAssembler将需要的列转成向量列
2.转为RDD后map操作，将feature列中的元素转为DenseVector
VectorAssembler的稀疏向量转密集向量