spark_sql编写常见异常

1.错误:找不到主类或者无法加载主类:
分析:没有语法错误,已经引入了依赖包,应该是ides配置问题
解决办法:关联scala的SDKspark_sql编写常见异常
解决—-
2.错误:在创建scala之后,配置spark_sql时,在pom引入了spark-sql包,但是没有引入spark-core包,无法创建Spark-Conf Spark-Context,不能导入相应的包
原因:部分idea可能父项目或者spark-sql的版本,已经依赖了spark-core,但是有的人的idea,可能还是需要单独引入一次spark-core包

4.Exception in thread “main” java.lang.NoClassDefFoundError: org/apache/hadoop/yarn/api/records/ReservationId
分析:找不到类,可能是 包冲突
有的idea的父项目可能有hadoop的mapreduce的包或者其他的,导致了包的冲突,找到包,将其删除
spark_sql编写常见异常
//在通过右键查看依赖关系的时候,hadoop-yarn-api包有多个相同的版本
那么右键直接排除
重新运行,还是报相同的异常,没有找到类,是因为:在删除包的时候,
并没有只排除某一个,而将所有的都排除了。那就会出现没有这个包的情况
解决办法:在pom中加指定版本的依赖包
在pom.xml文件当中在引入一个特定版本:
hadoop-yarn-api
org.apache.hadoop
2.6.5
—————————————————