cdh集成kafka,spark2

参考文章：

http://blog.cloudera.com/blog/2016/09/apache-spark-2-0-beta-now-available-for-cdh/

https://www.cloudera.com/documentation/spark2/latest/topics/spark2_installing.html

在CDH官网中关于Kafka的安装和升级中已经说到，在CDH中，Kafka作为一个分布式的parcel，单独出来作为parcel分发安装包。只要我们把分离开的kafka的服务描述jar包和服务parcel包下载了，就可以实现完美集成了。

注意集成之前请阅读官方文档，特别是版本支持方面。

集成过程，直接上图：

Kafka安装包准备：

 csd包：http://archive.cloudera.com/csds/kafka/

 parcel包： http://archive.cloudera.com/kafka/parcels/latest/ （根据自己的集群的系统版本下载 ）

我们这里centos6.7 x64的系统，注意下载对应的parcel包，如下图所示

在此得注意hash值的匹配

CDH集成Kafka实现：

1、将原来Kafka的在CDH中删除

2、csd包放到cm安装节点下的 /opt/cloudera/csd目录下，如图 :

3、将parcel包放到cm安装节点下的/opt/cloudera/parcel-repo目录下，如图：

 

4、启动cm服务，检查更新parcel，分配并**percel包，注意此处一定要**才能使用

 

 

5、添加kafka服务和配置角色节点

6、启动服务

安装完成后需要在spark2的配置里面指定kafka版本。