Flink架构和组件简介

流数据

不断增长的数据,本质上是无限大小的,简单理解,数据像流水一样进来,无法预测下次进来的数据。
特点是处理时会被一点一点的处理,而不是一次处理整个数据。

Flink架构

Flink架构和组件简介
在Flink集群部署后,会启动一个Job Manager以及多个Task Manager。
当进行数据处理,会经过以下流程:

1.client提交任务给Job Manger。
2.Job Manager将任务交给Task Manager ,接收Task Manager发来的心跳以及统计信息,任务状态。
3.Job Manager将任务状态更新,以及统计分析结果返回给client。

Flink组件

Client: 连接Job Manager,提交Job到Job Manager
Job Manager : 调度Task Manager处理Job,及时保存检查点
Task Manger:处理Job Manager分配的job。