sparkstreaming与kafka整合(一)

anssin用的是spark3.0.0 ,与kafka整合会和以前版本有些出入

首先我们导入sparkstreaming的依赖,scala版本是2.12的

<dependency>
    <groupId>org.apache.spark</groupId>
    <artifactId>spark-streaming_2.12</artifactId>
    <version>${spark.version}</version>
</dependency>

 

有关一些sparkstreaming和kafka的整合在官网(spark.apache.org)我们可以找到相关资料

 

 

 

将sparkstreaming和kafka整合的依赖导入maven,kafka版本在0.10以上

有最新的一些api,一些直接连接底层源码的api

<!--        与kafka整合依赖新的直连api-->
        <dependency>
            <groupId>org.apache.spark</groupId>
            <artifactId>spark-streaming-kafka-0-10_2.12</artifactId>
            <version>${spark.version}</version>
        </dependency>