2020-05-05
分类:
文章
•
2024-04-10 19:35:24
Java之大数据开发
- 大数据：数据量大PB级别种类多，更新速度快，
存储密集，价值量低，比如旅客进站，民航局，淘宝网页日志数据
分布式:多台机器通过网络连接在一起，并行或者并发的共同完成某项业务
- 掌握处理大数据的框架：hadoop 海量数据的存储HDFS,海量数据的计算MR
- 掌握java开发的并行框架MR,Mapper:大文件分片，将切片后的数据分配到不同的机器，并行对每一行数据进行处理，然后吐数据到上下文context，mr框架进行shff，输出到reduce,reduce阶段进行将相同的key进行合并。
-
