Flume的运行机制与采集系统结构
1.运行机制
- Flume系统中核心的角色是agent，agent本身是一个Java进程，一般运行在日志收集节点。
- 每一个agent相当于一个数据传递员，内部有三个组件：
- Source：采集源，用于跟数据源对接，以获取数据；
-
Sink：下沉地，采集数据的传送目的，用于往下一级agent传递数据或者往
最终存储系统传递数据； - Channel：agent内部的数据传输通道，用于从source将数据传递到sink；
- 在整个数据的传输的过程中，流动的是event，它是Flume内部数据传输的最基本单元。event将传输的数据进行封装。如果是文本文件，通常是一行记录，event也是事务的基本单位。event从source，流向channel，再到sink，本身为一个字节数组，并可携带headers(头信息)信息。event代表着一个数据的最小完整单元，从外部数据源来，向外部的目的地去。
- 一个完整的event包括：event headers、event body、event信息，其中event信息就是flume收集到的日记记录。
2.采集系统结构
简单结构
单个agent采集数据
复杂结构
多级agent之间串联