Cloudera Management添加spark2服务
用Cloudera Management管理集群时, 有时候在我们已经搭建了cdh版的集群, 又要用到spark2服务,在yarn上跑实时任务,而cdh集群中cdh中不包含spark2服务,因此需要另外下载。
目录
一、下载spark2的parcel包
1、去这里http://archive.cloudera.com/spark2/下载
2、下载箭头指的三个文件,选择适合自己的操作系统,我是CentOS6,这里选择el6
3、下载对应csd jar包,csd版本要和parcel的版本严格对应,不对应会找不到spark服务
二、上传至服务器
1、上传下载的四个文件
2、把CDH-5.12.2-1.cdh5.12.2.p0.4-el6.parcel.sha1重命名为CDH-5.12.2-1.cdh5.12.2.p0.4-el6.parcel.sha
3、将 manifest.json、CDH-5.12.2-1.cdh5.12.2.p0.4-el6.parcel.sha、CDH-5.12.2-1.cdh5.12.2.p0.4-el6.parcel
三个文件,上传到/opt/cloudera/parcel-repo/下,把原来manifest.json重命名即可
4、将SPARK2_ON_YARN-2.2.0.cloudera2.jar上传到opt/cloudera/csd下,csd目录需要手动创建
三、添加spark服务
1、停止集群和cms服务
2、重启server和各节点agent
/opt/cloudera-manager/cm-5.12.2/etc/init.d/cloudera-scm-server restart
/opt/cloudera-manager/cm-5.12.2/etc/init.d/cloudera-scm-agent restart
3、去 parcel页面, 分配,**
这里已经分配、**了
4、添加spark服务
可以看到出现了spark2服务,选中服务,继续下一步,为spark2服务分配节点即可
5、选择节点,自定义分配角色, 一路next即可完成