CDH HUE客户端调度工作流配置

HUE客户端地址http://192.168.1.111:8888

1、登陆界面。登陆后在界面右上方点击HDFS Browser图标

CDH HUE客户端调度工作流配置

2、上传文件。点击下面红框按钮找到文件存放的根目录,在逐层找到文件存放目录,点击右上方Upload上传文件。

如下为文件上传成功。

CDH HUE客户端调度工作流配置

3、配置workflows工作流。

依次选择workflows->Editors->Workflows

CDH HUE客户端调度工作流配置

点击create,添加工作流。配置好的工作流也可以选import导入。

CDH HUE客户端调度工作流配置

拖动shell图表到下方箭头指向位置

CDH HUE客户端调度工作流配置

选择shell脚本。

CDH HUE客户端调度工作流配置

点击FILES+,添加该作业依赖的脚本文件,比如集群认证的keyboard文件、访问数据库的地址端口号实例名等链接文件。

点击ARGUMENTS+,添加调用参数名。

编辑完成点右上方保存按钮,一个简单的工作流配置完成。

CDH HUE客户端调度工作流配置

配置完成要测试一下作业是否能跑通。

点击下方红框三角按钮或者右上方三角按钮都能起调作业。这两个按钮不同点为下方按钮是起调单个作业,上方起调整个工作流。

CDH HUE客户端调度工作流配置

输入参数值后点击Submit

CDH HUE客户端调度工作流配置

进入状态页监控作业的调度情况,status为succeeded说明作业已经跑成功。如果失败则通过日志分析原因。

错误日志查看点红框图标进入stderr日志页

CDH HUE客户端调度工作流配置

err页面

CDH HUE客户端调度工作流配置

在实际应用中,经常需要配置多个作业组成大的工作流。

如果有并行的作业则按照之前的方法添加作业到右方空白框即可。

作业串行并且前后有依赖则添加新作业到要依赖作业的下方。

CDH HUE客户端调度工作流配置

编辑完成点保存,工作流配置完成。