我可以使用Apache NIFI将文件传输到HDFS系统。
答
您可以通过使用PutHDFS处理器轻松地将文件传输到HDFS文件系统。
看这个链接下方,
https://nifi.apache.org/docs/nifi-docs/components/org.apache.nifi.processors.hadoop.PutHDFS/
在此处理器必须指定下列属性足以将文件转移到HDFS。
1.Hadoop配置资源:文件
/Hadoop/conf/core-site.xml,/Hadoop/conf/hdfs-site.xml,/Hadoop/conf/yarn-site.xml,/Hadoop/conf/mapred-site.xml
2.Directory的-A文件或逗号分隔的列表:指定HDFS目录的位置
/FilesFromNiFi/
3。冲突策略:(追加/替换/忽略/失败)
append
例如:
如果妳需要将文件从本地驱动器移动到HDFS采用以下NiFi流程即
GetFile-->PutHDFS
GetFile-->Just give your input directory.
putHDFS-->Specify your HDFS location
您需要拖动一个处理器进入UI相对于下方图像,
请参阅此链接拖到此两个处理器GetFi LE和putHDFS到NiFi UI
https://nifi.apache.org/docs/nifi-docs/html/user-guide.html#adding-components-to-the-canvas
http://zdatainc.com/2016/02/hello-nifi-data-orchestration-using-hortonworks-dataflow-hdf/
让我知道,如果你面对任何问题。
我无法在Apache NiFi中找到上述组件(GetFile PutHDFS)? 一些设置,以包括? – Pradhuman
我编辑了我的答案。您必须将这两个处理器拖入用户界面中,并附上答案 –
谢谢您的回复。我的NiFi二进制文件被破坏,我只能看到7个处理器作为选项。 我纠正了上述问题,现在它的工作正常,我可以看到183个奇数处理器的选项。 – Pradhuman