变换字符串列向量列星火DataFrames

Question

我有一个数据帧星火看起来如下：

+-----------+-------------------+ 
|  ID |  features  | 
+-----------+-------------------+ 
| 18156431|(5,[0,1,4],[1,1,1])| 
| 20260831|(5,[0,4,5],[2,1,1])| 
| 91859831|(5,[0,1],[1,3]) | 
| 206186631|(5,[3,4,5],[1,5]) | 
| 223134831|(5,[2,3,5],[1,1,1])| 
+-----------+-------------------+ 

在这个数据帧功能列是稀疏向量。在我的脚本中，我必须将此DF保存为磁盘上的文件。在执行此操作时，功能列将保存为文本列：示例"(5,[0,1,4],[1,1,1])"。 在Spark中再次导入时，列保持字符串，如您所期望的那样。如何将列转换回（稀疏）矢量格式？

Answer 1

不是特别有效（这将是一个好主意，使用保留类型的格式），由于UDF开销，但你可以做这样的事情：

from pyspark.mllib.linalg import Vectors, VectorUDT 
from pyspark.sql.functions import udf 

df = sc.parallelize([ 
    (18156431, "(5,[0,1,4],[1,1,1])") 
]).toDF(["id", "features"]) 

parse = udf(lambda s: Vectors.parse(s), VectorUDT()) 
df.select(parse("features")) 

请直接注意这不会端口2.0.0+和MLVector。由于ML向量不提供parse方法，您必须解析为MLLib并使用asML。