spark例子

MAP变换例子:

spark例子

用map 给英语成绩+1分给数学成绩-1分

spark例子

flatMap()

spark例子

spark例子

spark例子

(1)reduce():并行汇总所有RDD元素

spark例子

reduce()参数是一个函数,这个函数有两个参数(首先会分区(默认分区数量与虚拟机的核心数有关,我的是2),然后每个分区得出结果最后汇总),两个参数分别是每次分区后两个分区的结果

执行过程:

分区:[(1,2),(3,4)]

第一次结果:[3,7]

最后结果:10

尝试理解减法操作:

spark例子

分区:[(1,2),(3,4)]

第一次结果:[-1,-1]

最后结果:0

在这里我发现可以在后面传入分区的数量,分区数量不同导致结果不同

spark例子

分区:[(1,2,3),(4,5,6)]

第一次结果:[(-1,3),(-1,6)]

第二次结果:[-4,-7]

最后结果:3

spark例子

分区:[(1,2),(3,4),(5,6)]

第一次结果:[(-1,-1),(5,6)]

第二次结果:[0,-1]

最后结果:1


count():返回RDD的元素个数

spark例子


aggregate():

spark例子

flatMapValues() 例子:

把键和值一次一次的匹配一遍

例子1:

x=sc.parallelize([('a',[1,2,3]),('b',[5,6,7])])

def f(x):
    return x

x.flatMapValues(f).collect()

   输出结果

[('a', 1), ('a', 2), ('a', 3), ('b', 5), ('b', 6), ('b', 7)]

例子2:

spark例子


countByValue 操作例子:

各RDD元素在RDD中出现次数

spark例子

zip:

spark例子

spark例子

combineByKey():例子

spark例子

统计平均分数:

spark例子

countByKey():spark例子

spark例子