大数据项目实战(1) | 离线和实时处理架构

  • 大数据处理分离线分析架构和实时处理架构.
    • 离线需求
    一般是根据前一日的数据生成报表等数据,虽然统计指标、报表繁多,但是对时效性不敏感。
    • 实时需求
    主要侧重于对当日数据的实时监控,通常业务逻辑相对离线需求简单一下,统计指标也少一些,但是更注重数据的时效性,以及用户的交互性。

离线处理架构

离线分析架构(如Hive,Map/Reduce,Spark Sql等)可以满足数据后分析,数据挖掘的应用需求。
大数据项目实战(1) | 离线和实时处理架构

实时处理架构

对于实时性要求高的应用,如用户即时详单查询,业务量监控等,需要应用实时处理架构。
大数据项目实战(1) | 离线和实时处理架构