spark实际应用2:数据治理(数据统计,数据检测-无状态更新)
1, 业务实现流程
2, 具体代码
程序运行结果:
接收的数据=== (去重,去") mesg= > t1,row2,1,li,23
接收的数据=== (去重,去") mesg= > t1,row2,1,li,23
接收的数据=== (去重,去") mesg= > t1,row2,1,li,23
接收的数据=== (去重,去") mesg= > t1,row2,1,li,23
spark ....共接收到 4 条数据
(name < 3 总数= ,4)
[Stage 113:> (0 + 2) / 2]
###################### 写入hbase 1条数据成功 ===》 4 个字段
###################### 写入hbase 1条数据成功 ===》 4 个字段
###################### 写入hbase 1条数据成功 ===》 4 个字段
###################### 写入hbase 1条数据成功 ===》 4 个字段