Spark和groupby操作的XML源代码

Question

我正在使用XML来源databricks。这是我的XML示例数据。

<ds Name="abc"> 
    <node begin="18" end="22" val="Organic" type="type1"> 
     <hs id="0" begin="18" end="91" /> 
    </node> 
    <node begin="22" end="23" val="Cereal"> 
     <hs id="0" begin="18" end="91" /> 
    </node> 
    <node begin="23" end="25" val="Kellogs" type="type2"> 
     <hs id="0" begin="18" end="91" /> 
    </node> 
    <node begin="22" end="23" val="Harry" type="type1"> 
     <hs id="1" begin="108" end="520" /> 
    </node> 
    <node begin="23" end="25" val="Potter" type="type1"> 
     <hs id="1" begin="108" end="520" /> 
    </node> 
</ds> 

我想所有的node.val结合（以相同的顺序，因为它们出现在XML文件]由hs id分组）。

例如，O/P为上述数据应该是：

名称HS ID缬氨酸

ABC 0有机谷物

ABC 1哈利波特

这里是我从databricks加载XML源代码的地方：

我不确定如何将数据集按hs id分组，并确保订单得以保留。

val df_ds = sqlContext.sql("SELECT Name, node.type from ds") 

Answer 1

尝试：

import scala.collection.mutable.LinkedHashMap 
import org.apache.spark.sql.Row 
import org.apache.spark.sql.functions.udf 

val comb = udf((rows: Seq[Row]) => { 
    val result = LinkedHashMap[Long, Array[String]]() 
    for (row <- rows) { 
    val id = row.getAs[Row]("hs").getAs[Long]("id") 
    result(id) = result.getOrElse(id, Array[String]()) :+ row.getAs[String]("val") 
    } 
    result.values.toArray.map(x => x.mkString(" ")) 
}) 

df.printSchema 
root 
|-- Name: string (nullable = true) 
|-- node: array (nullable = true) 
| |-- element: struct (containsNull = true) 
| | |-- begin: long (nullable = true) 
| | |-- end: long (nullable = true) 
| | |-- hs: struct (nullable = true) 
| | | |-- #VALUE: string (nullable = true) 
| | | |-- begin: long (nullable = true) 
| | | |-- end: long (nullable = true) 
| | | |-- id: long (nullable = true) 
| | |-- type: string (nullable = true) 
| | |-- val: string (nullable = true) 

df.withColumn("comb", comb(df("node")))