NIFI的安装及使用

NiFI介绍
  NiFi(NiagaraFiles)是为了实现系统间数据流的自动化而构建的。虽然术语“数据流”用于各种上下文,但我们在此处使用它来表示系统之间的自动和管理信息流

官网地址:http://nifi.apache.org/

文档:http://nifi.apache.org/docs.html

NiFi架构 NIFI的安装及使用

NiFI安装
  环境要求:a、需要Java 8或更高版本

b、支持的操作系统:Linux、Unix、Windows、Mac OS X

1、下载安装包

命令:wget -b http://mirror.bit.edu.cn/apache/nifi/1.8.0/nifi-1.8.0-bin.tar.gz

2、解压安装包、即可使用

命令:tar -zxvf nifi-1.8.0-bin.tar.gz

目录如下:   NIFI的安装及使用

3、配置文件( nifi-1.8.0/conf/nifi.properties )、可以使用默认配置,根据自己情况进行修改
NIFI的安装及使用

4、操作NIFI,启动的时候,比较慢,注意机器内存是否足够

后台启动命令:./bin/nifi.sh start

前端启动命令:./bin/nifi.sh run

关闭命令:./bin/nifi.sh stop

首次启动NiFi时,会创建以下文件和目录:

content_repository

database_repository

flowfile_repository

provenance_repository

work 目录

logs 目录

在conf目录中,将创建flow.xml.gz文件

5、启动后,使用浏览器进行访问,地址:http://ip:8080/nifi
NIFI的安装及使用

NIFI简单使用
  不理解NIFI是做什么的,看一个简单的例子(同步文件夹)吧,帮助理解

1、从工具栏中拖入一个Processor,在弹出面板中搜索GetFIle,然后确认    NIFI的安装及使用
NIFI的安装及使用
  2、配置GetFile,设置结束关系、输入目录、保留源文件,其他设置可以不动,输入目录中有文件:file.txt(内容为abc)。

NIFI的安装及使用  NIFI的安装及使用
NIFI的安装及使用

3、从工具栏中拖入一个Processor,在弹出面板中搜索PutFIle,然后确认,如第一步

4、配置PutFile,设置结束关系、输出目录,其他设置可以不动,输出目录为空文件夹
NIFI的安装及使用
  NIFI的安装及使用

5、将GetFIle与PutFIle关联起来,从GetFIle中心点击,拖拉到PutFIle上
NIFI的安装及使用
   NIFI的安装及使用

6、右键启动GetFIle与PutFIle,可以看到结果,输入目录中的文件同步到,输出目录中了
NIFI的安装及使用

注意:操作过程中,注意错误排查
1、Processor上的警告     NIFI的安装及使用

2、Processor上的错误
NIFI的安装及使用