CDH HUE客户端调度工作流配置
HUE客户端地址http://192.168.1.111:8888
1、登陆界面。登陆后在界面右上方点击HDFS Browser图标
2、上传文件。点击下面红框按钮找到文件存放的根目录,在逐层找到文件存放目录,点击右上方Upload上传文件。
如下为文件上传成功。
3、配置workflows工作流。
依次选择workflows->Editors->Workflows
点击create,添加工作流。配置好的工作流也可以选import导入。
拖动shell图表到下方箭头指向位置
选择shell脚本。
点击FILES+,添加该作业依赖的脚本文件,比如集群认证的keyboard文件、访问数据库的地址端口号实例名等链接文件。
点击ARGUMENTS+,添加调用参数名。
编辑完成点右上方保存按钮,一个简单的工作流配置完成。
配置完成要测试一下作业是否能跑通。
点击下方红框三角按钮或者右上方三角按钮都能起调作业。这两个按钮不同点为下方按钮是起调单个作业,上方起调整个工作流。
输入参数值后点击Submit
进入状态页监控作业的调度情况,status为succeeded说明作业已经跑成功。如果失败则通过日志分析原因。
错误日志查看点红框图标进入stderr日志页
err页面
在实际应用中,经常需要配置多个作业组成大的工作流。
如果有并行的作业则按照之前的方法添加作业到右方空白框即可。
作业串行并且前后有依赖则添加新作业到要依赖作业的下方。
编辑完成点保存,工作流配置完成。