spark-submit 错误:ClassNotFoundException:WordCount
在IDEA中运行WordCount成功
打包后使用命令:
./spark-submit --class WordCount /home/hadoop/WordCount/out/artifacts/WordCount_jar/WordCount.jar
运行后报错:
查了好久发现可能跟package name有关,并查了下打包时的Main class的值:
于是尝试下面的提交方式:
./spark-submit --class scala.dblab.WordCount /home/hadoop/WordCount/out/artifacts/WordCount_jar/WordCount.jar
终于成功了。
但当创建的object没有package时 ,打包后Main class的值为objectName 此时 --class后应接的是objectName
综上可以得出:
--class后接的格式应该是打jar包时 “Main class:”后的值
即:
若object有package时,--class后接的格式应该是packageName.objectName;
若object没有package时,--class后接的格式应该是objectName。