Spark03中广播变量和累加器的代码怎么写
今天就跟大家聊聊有关Spark03中广播变量和累加器的代码怎么写,可能很多人都不太了解,为了让大家更加了解,小编给大家总结了以下内容,希望大家根据这篇文章可以有所收获。
广播变量scala代码
def main(args: Array[String]): Unit = { val conf = new SparkConf() conf.setMaster("local") conf.setAppName("Spark07") val sc = new SparkContext(conf) //累加器在Driver端定义赋初始值,累加器只能在Driver端读取,在driver、Excutor端更新, var sum = sc.accumulator(0) val rdd: RDD[String] = sc.textFile("G:/idea/scala/spark02/words1") sum.add(1) val result: RDD[String] = rdd.map(index=>{ println("sum="+sum) sum.add(1) println(sum) index }) result.foreach(println) println(sum) }
累加器scala代码
def main(args: Array[String]): Unit = { val conf = new SparkConf() conf.setMaster("local") conf.setAppName("Spark07") val sc = new SparkContext(conf) //累加器在Driver端定义赋初始值,累加器只能在Driver端读取,在driver、Excutor端更新, var sum = sc.accumulator(0) val rdd: RDD[String] = sc.textFile("G:/idea/scala/spark02/words1") sum.add(1) val result: RDD[String] = rdd.map(index=>{ println("sum="+sum) sum.add(1) println(sum) index }) result.foreach(println) println(sum) }
看完上述内容,你们对Spark03中广播变量和累加器的代码怎么写有进一步的了解吗?如果还想了解更多知识或者相关内容,请关注行业资讯频道,感谢大家的支持。