flume采集文件到HDFS+Nginx

flume采集文件到HDFS

1) 安装配置flume

导入解压 解压命令 tar -zxvf ***********

配置文件路径 cd apps/flume-1.6.0/dir-hdfs.conf(配置静态)

            cd apps/flume-1.6.0/tail-hdfs.conf(实时采集数据到HDFS

tail-hdfs.conf 配置文件

启动命令 ./flume-ng agent -C ../conf/ -f ../tail-hdfs.conf -n ag1 -Dflume.root.logger=INFO,console

位置：cd apps/flume-1.6.0/bin

 

注意：-C ../conf/  ：   配置信息
 -f ../dir-hdfs.conf   ：配置文件的位置
 -n ag1   :    agent的名字

 -Dflume.root.logger=INFO.console：打印到控制台

 

2)  安裝配置Nginx

安裝make

yum -y install gcc automake autoconf libtool make

安裝 g++

yum install gcc gcc-c++

安裝openssl

yum -y install openssl openssl-devel

安裝pcre库

cd/apps

tar zxvf zlib-1.2.11.tar.gz

cd zlib-1.2.11

./configure

make

make install

安装nginx

cd /apps

tar -zxvf nginx-1.1.10.tar.gz

cd nginx-1.1.10

./configure

make

make install

启动nginx

cd/usr/loca/nginx/sbin

./nginx

在浏览器测试

Nginx成功启动

Ngin配置文件https://blog.****.net/lucasmaluping/article/details/102459604

 

 

开始准备(记得先启动hdfs,这忘了)

Start-all.sh

打好jar包，上传到虚拟机

运行jar包

运行指令

启动flume和nginx

启动nginx

启动flume

启动指令./flume-ng agent -C ../conf/ -f ../tail-hdfs.conf -n ag1 -Dflume.root.logger=INFO,console

注意：报错看报错信息，可能会有一个safe node问题

hadoop dfsadmin -safemode leave输入这个解决、

 

***tail -f  文件夹名

动态监测文件写入信息，查看log文件

 

在浏览器查看结果

在nginx log文件下（文件名在flume配置文件在更改）

信息已被采集上传到hdfs