我可以使用Apache NIFI将文件传输到HDFS系统。

问题描述:

如果是,请为我指导基本步骤。 我通过页面scorll,并意识到它可能使用core-site.xml我可以使用Apache NIFI将文件传输到HDFS系统。

您可以通过使用PutHDFS处理器轻松地将文件传输到HDFS文件系统。

看这个链接下方,

https://nifi.apache.org/docs/nifi-docs/components/org.apache.nifi.processors.hadoop.PutHDFS/

在此处理器必须指定下列属性足以将文件转移到HDFS。

1.Hadoop配置资源:文件

/Hadoop/conf/core-site.xml,/Hadoop/conf/hdfs-site.xml,/Hadoop/conf/yarn-site.xml,/Hadoop/conf/mapred-site.xml 

2.Directory的-A文件或逗号分隔的列表:指定HDFS目录的位置

/FilesFromNiFi/ 

3。冲突策略:(追加/替换/忽略/失败)

append 

例如:

如果妳需要将文件从本地驱动器移动到HDFS采用以下NiFi流程即

GetFile-->PutHDFS 

GetFile-->Just give your input directory. 

putHDFS-->Specify your HDFS location 

您需要拖动一个处理器进入UI相对于下方图像,

enter image description here

请参阅此链接拖到此两个处理器GetFi LE和putHDFS到NiFi UI

https://nifi.apache.org/docs/nifi-docs/html/user-guide.html#adding-components-to-the-canvas

http://zdatainc.com/2016/02/hello-nifi-data-orchestration-using-hortonworks-dataflow-hdf/

让我知道,如果你面对任何问题。

+0

我无法在Apache NiFi中找到上述组件(GetFile PutHDFS)? 一些设置,以包括? – Pradhuman

+0

我编辑了我的答案。您必须将这两个处理器拖入用户界面中,并附上答案 –

+1

谢谢您的回复。我的NiFi二进制文件被破坏,我只能看到7个处理器作为选项。 我纠正了上述问题,现在它的工作正常,我可以看到183个奇数处理器的选项。 – Pradhuman