Oozie

* Oozie框架基础

官方文档地址:http://oozie.apache.org/docs/4.0.0/DG_QuickStart.html

Oozie框架简介:

** Oozie单词释义:驯象人

** 一个基于工作流引擎的开源框架,由Cloudera公司贡献给Apache,提供对Hadoop Mapreduce、Pig Jobs的任务调度与协调。Oozie需要部署到Java Servlet容器中运行。

** 以xml的形式写调度流程,可以调度mr,pig,hive,shell,jar等。

Oozie主要功能:

** Workflow: 顺序执行流程节点,支持fork(分支多个节点),join(合并多个节点为一个)

** Coordinator,定时触发workflow (HUE4 改名叫Schedule)

** Bundle Job,绑定多个coordinator(Schdule)

关系图:

Oozie

Oozie 架构图:

Oozie

Oozie节点:

** 控制流节点(Control Flow Nodes):

控制流节点一般都是定义在工作流开始或者结束的位置,比如start,end,kill等。以及提供工作流的执行路径机制,如decision,fork,join等。

** 动作节点(Action  Nodes):

简而不能再简的言之,就是主要就是执行一些动作,比如FS ACTION,可以删除HDFS上的文件,创建文件夹等等等等

接下来我们实际操作感受一下。

* 总结

oozie调度框架的学习,如果概念不了解,可以先在似懂非懂的状态下把例子学会,再回顾知识点,自然就理解了。

转载于:https://my.oschina.net/u/135946/blog/2252781