初识spark
初始spark
含义：基于内存计算的大数据并行计算框架
优势：快
应用范围：广告业务，准实时报表
spark专用编程语言Scala
scala使用函数式编程思维来开发程序，门槛比java高
Scala核心：RDD,RDD全称为弹性分布式数据集
spark数据处理的基本流程：先创建RDD，然后对RDD进行数据处理
map(func)：通过 func 函数，对 RDD 数据转换生成新 RDD，可以简单理解为 Python 中 lambda 函数。
filter(func)：对于原有 RDD 中，满足经过 func 处理后返回 True 的数据保留下来，生成新数据集合。
flatMap(func)：将原有数据打平，可以简单理解为行转列。
sample(withReplacement, fraction, seed)：对原有 RDD 抽样，生成新 RDD
union(otherDataset)： 将两个 RDD 合并后生成新 RDD。
reduceByKey(func, [numPartitions])：针对( K, V )样式 RDD，将 K 作为被聚合的 key，计算 V 的值。
repartition(numPartitions)：将原有 RDD 重新组合到不同的分区中，比如原来 RDD 在 1000 个分区上，小文件过多，但实际只有几 MB 数据，这时一般会 reshuffle 到一个分区即可。
小结：通过transformations生成的RDD是惰性求值的
实战：
数据源：
统计数据总行数，统计各省份的访问次数总和，统计过滤出大于50万次访问次数的省份