您的位置: 首页  >  文章  >  Flume主要概念及启动流程

Flume主要概念及启动流程

分类: 文章 • 2025-02-07 08:08:34

flume是是一个数据采集工具；可以从各种各样的数据源（服务器）上采集数据传输（汇聚）到大数据生态的各种存储系统中（Hdfs、hbase、hive、kafka）；

核心概念:

Agent

flume采集系统就是由一个个agent连接起来所形成的一个或简单或复杂的数据传输通道。对于每一个Agent来说,它就是一个独立的守护进程(JVM),它负责从数据源接收数据，并发往下一个目的地的说法Flume主要概念及启动流程
每一个agent相当于一个数据(被封装成Event对象)传递员，内部有三个组件：
Source：采集组件，用于跟数据源对接，以获取数据；它有各种各样的内置实现；
Sink：下沉组件，用于往下一级agent传递数据或者向最终存储系统传递数据
Channel：传输通道组件，用于从source将数据传递到sink
单个agent采集数据:
Flume主要概念及启动流程
多个agent采集数据:
Flume主要概念及启动流程

Event

数据在Flum内部中数据以Event的封装形式存在。
因此，Source组件在获取到原始数据后，需要封装成Event放入channel；
Sink组件从channel中取出Event后，需要根据配置要求，转成其他形式的数据输出。

Event封装对象主要有两部分组成： Headers和 Body
Header是一个集合 Map[String,String]，用于携带一些KV形式的元数据（标志、描述等）
Boby： 就是一个字节数组；装载具体的数据内容

启动命令

flume agent的启动命令:
bin/flume‐ng agent ‐c conf ‐f agent_conf/agent.properties ‐n a1

降低日志级别运行(便于查错):
bin/flume‐ng agent ‐c conf ‐f agent_conf/agent.properties ‐n a1 -Dflume.root.logger=DEBUG,console

在后台运行flume:
bin/flume‐ng agent ‐c conf ‐f agent_conf/agent.properties ‐n a1 1>/dev/null 2>&1 &

添加监控配置:
bin/flume‐ng agent ‐c conf ‐f agent_conf/agent.properties ‐n a1 Dflume.monitoring.type=http ‐Dflume.monitoring.port=3333
可以在浏览器打开对应服务器端口查看详细数据

相关推荐