spark-submit 报错:NoClassDefFoundError: scala/runtime/java8/JFunction1$mcII$sp
spark版本:2.4.0
用 spark-submit 提交任务到 yarn 报错 :
错误显示是 scala 环境中找不到某个类,应该是 jar 包的 scala 编译环境和 spark 的 scala 环境版本不一致。
spark 的 scala 版本为 : 2.11.12
而我的 sbt 编译的 scala 版本为 : 2.12
那么把 sbt 的 scala 版本改为 2.11.12,再重新编译。再次提交到 yarn 执行,就执行成功。