Spark shell 统计word count程序
1、启动hdfs
2、启动Spark
3、进入Spark shell
UI 界面显示如下
4 、在scala 命令行中执行如下代码
sc.textFile("hdfs://bigdata121:9000/tmp/spark/data.txt").flatMap(_.split(" ")).map((_,1)).reduceByKey(_+_).saveAsTextFile("hdfs://bigdata121:9000/tmp/spark/count_word.txt")
5、查看统计结果
hdfs web 页面
6、在本地用hdfs 命令