第1章 Spark Streaming概述

1、 Spark Streaming是什么

Spark Streaming用于流式数据的处理。Spark Streaming支持的数据输入源很多,例如:Kafka、Flume、Twitter、ZeroMQ和简单的TCP套接字等等。数据输入后可以用Spark的高度抽象原语如:map、reduce、join、window等进行运算。而结果也能保存在很多地方,如HDFS,数据库等。
第1章 Spark Streaming概述
和Spark基于RDD的概念很相似,Spark Streaming使用离散化流(discretized stream)作为抽象表示,叫作DStream。DStream 是随时间推移而收到的数据的序列。在内部,每个时间区间收到的数据都作为 RDD 存在,而DStream是由这些RDD所组成的序列(因此得名“离散化”)。


2、 Spark Streaming特点

易用
第1章 Spark Streaming概述
容错
第1章 Spark Streaming概述
易整合到Spark体系
第1章 Spark Streaming概述


3、SparkStreaming架构

第1章 Spark Streaming概述