Spark生态之Spark Streaming

 

Spark生态之Spark Streaming

 

 

 

 

 

 

 

 

 

 

 

批处理 & 流处理

Spark生态之Spark Streaming

 

 Spark生态之Spark Streaming

为什么需要流处理---更多场景需要?

越来越多的应用需要大规模数据下的实时计算能力

Spark生态之Spark Streaming

 

实时舆情分析

Spark生态之Spark Streaming

 

 

 

 

 

 

 

Spark Core & RDD本质上是离线运算

Spark生态之Spark Streaming
val conf=new SparkConf().setAppName("myWordCount")
            val sc=new SparkContext(conf)
            //读取数据
            val lines=sc.textFile(input)
            //进行相关计算
            val resultRdd=lines
                .flatMap(_.split(" "))
                .map((_,1))
                .reduceByKey(_+_)
            //保存结果
            resultRdd.saveAsTextFile(output)

       
Spark生态之Spark Streaming

 

Spark生态之Spark Streaming

 

 

 

 

 

 

Spark Streaming是什么

Spark生态之Spark Streaming

  

  Spark Streaming is an extension of the core Spark API that enables scalable, high-throughput, fault-tolerant stream processing of live data streams

Spark生态之Spark Streaming

 

 


本文转自大数据躺过的坑博客园博客,原文链接:http://www.cnblogs.com/zlslch/p/5728619.html,如需转载请自行联系原作者