Flume学习笔记

第1章 概述

1.1 Flume定义

Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传
输的系统。Flume基于流式架构，灵活简单。

1.2 Flume组成架构

Flume组成架构如图1-1，图1-2所示：


下面我们来详细介绍一下Flume架构中的组件。

1.2.1 Agent

Agent是一个JVM进程，它以事件的形式将数据从源头送至目的， 在这里插入代码是Flume数据传输的基本单元。

Agent主要有3个部分组成，Source、Channel、Sink。

1.2.2 Source

Source是负责接收数据到FlumeAgent的组件。 Source组件可以处理各种类型、各种格
式的日志数据，包括avro、thrift、exec、jms、spooling directory、netcat、sequencegenerator、
syslog、http、legacy。

1.2.3 Channel

Channel是位于Source和Sink之间的缓冲区。 因此，Channel允许Source和Sink运作
在不同的速率上。Channel是线程安全的，可以同时处理几个Source的写入操作和几个Sink
的读取操作。

Flume自带两种Channel：MemoryChannel和FileChannel。

MemoryChannel是内存中的队列。MemoryChannel在不需要关心数据丢失的情景下适
用。如果需要关心数据丢失，那么MemoryChannel就不应该使用，因为程序死亡、机器宕
机或者重启都会导致数据丢失。

FileChannel将所有事件写到磁盘。因此在程序关闭或机器宕机的情况下不会丢失数据。