org.apache.spark.sql.catalyst.errors.package$TreeNodeException:execute tree

@TOorg.apache.spark.sql.catalyst.errors.package$TreeNodeException:execute tree

语言:scala
工具: spark 读取hdfs 文件(映射到hive的 有分区但文件内容没有)
如标题所示,在生成计划树的时候出错了,但是这个时候的报错特别的笼统。根本看不到错误!如图所示,直接看最中心的报错
org.apache.spark.sql.catalyst.errors.package$TreeNodeException:execute tree
首先检查:

  1. 检查parquet文件的case class和读取后as的case class是否一致;
  2. 查看是否是因为as case class中有分区的字段,直接读取单个文件夹或文件是没有分区字段的,除非整个映射文件夹都读取;
  3. 仔细看报错 不要慌 一