【每天进步一点点】【Flume】Flume 基本介绍
1.Flume 基本概念介绍
- Agent :每一个flume进程称作一个agent
- source : flume 进程中的入口组件 主要用于接收数据,可以从端口、文件等接收数据 常见的source 类别有
avro
、exec
、spooling
、taildir
- channel : flume进程中用于中间缓存数据的组件 接收source中的消息,存放在本地内存或磁盘中 常见的channal 类别有
memory
、file
- sink: flume进程中出口组件,主要用户将最终的数据写到对应类别的目的端 常见的sink 类别有
avro
、hdfs
、kafka
、logger
- event: flume 进程中消息的的基本单位,可以理解成一个消息就是一个event event主要包含两部分
head
、body