spark-submit 报错:NoClassDefFoundError: scala/runtime/java8/JFunction1$mcII$sp

spark版本:2.4.0

用 spark-submit 提交任务到 yarn 报错 :

spark-submit 报错:NoClassDefFoundError: scala/runtime/java8/JFunction1$mcII$sp
错误显示是 scala 环境中找不到某个类,应该是 jar 包的 scala 编译环境和 spark 的 scala 环境版本不一致。

spark 的 scala 版本为 : 2.11.12

spark-submit 报错:NoClassDefFoundError: scala/runtime/java8/JFunction1$mcII$sp
而我的 sbt 编译的 scala 版本为 : 2.12

spark-submit 报错:NoClassDefFoundError: scala/runtime/java8/JFunction1$mcII$sp
那么把 sbt 的 scala 版本改为 2.11.12,再重新编译。再次提交到 yarn 执行,就执行成功。