过滤矢量类型的“特征”列

问题描述：

我正在研究一个程序，我需要根据特定条件在数据集中显示特定行。这些条件适用于我为机器学习模型创建的features列。这features列是一个向量列，当我试图通过传递一个矢量值来过滤它，我得到以下错误：过滤矢量类型的“特征”列

Exception in thread "main" java.lang.RuntimeException: Unsupported literal type class org.apache.spark.ml.linalg.DenseVector at org.apache.spark.sql.catalyst.expressions.Literal$.apply(literals.scala:75) at org.apache.spark.sql.functions$.lit(functions.scala:101)

这是给我的错误过滤部分：

dataset.where(dataset.col("features").notEqual(datapoint)); //datapoint is a Vector

有没有办法解决这个问题？

答

您需要为Vector创建一个udf进行过滤。以下为我工作：

import org.apache.spark.ml.feature.VectorAssembler 
import org.apache.spark.ml.linalg.Vectors 
import org.apache.spark.sql.functions.udf 

val df = sc.parallelize(Seq(
    (1, 1, 1), (1, 2, 3), (1, 3, 5), (2, 4, 6), 
    (2, 5, 2), (2, 6, 1), (3, 7, 5), (3, 8, 16), 
    (1, 1, 1))).toDF("c1", "c2", "c3") 

val dfVec = new VectorAssembler() 
    .setInputCols(Array("c1", "c2", "c3")) 
    .setOutputCol("features") 
    .transform(df) 

def vectors_unequal(vec1: Vector) = udf((vec2: Vector) => !vec1.equals(vec2)) 

val vecToRemove = Vectors.dense(1,1,1) 

val filtered = dfVec.where(vectors_unequal(vecToRemove)(dfVec.col("features"))) 
val filtered2 = dfVec.filter(vectors_unequal(vecToRemove)($"features")) // Also possible

dfVec show产量：

+---+---+---+--------------+ 
| c1| c2| c3|  features| 
+---+---+---+--------------+ 
| 1| 1| 1| [1.0,1.0,1.0]| 
| 1| 2| 3| [1.0,2.0,3.0]| 
| 1| 3| 5| [1.0,3.0,5.0]| 
| 2| 4| 6| [2.0,4.0,6.0]| 
| 2| 5| 2| [2.0,5.0,2.0]| 
| 2| 6| 1| [2.0,6.0,1.0]| 
| 3| 7| 5| [3.0,7.0,5.0]| 
| 3| 8| 16|[3.0,8.0,16.0]| 
| 1| 1| 1| [1.0,1.0,1.0]| 
+---+---+---+--------------+

filtered show产量：

+---+---+---+--------------+ 
| c1| c2| c3|  features| 
+---+---+---+--------------+ 
| 1| 2| 3| [1.0,2.0,3.0]| 
| 1| 3| 5| [1.0,3.0,5.0]| 
| 2| 4| 6| [2.0,4.0,6.0]| 
| 2| 5| 2| [2.0,5.0,2.0]| 
| 2| 6| 1| [2.0,6.0,1.0]| 
| 3| 7| 5| [3.0,7.0,5.0]| 
| 3| 8| 16|[3.0,8.0,16.0]| 
+---+---+---+--------------+

过滤矢量类型的“特征”列

相关推荐