Tez学习笔记 --- Tez与MapReduce原理与分析

分类: 文章 • 2025-05-10 18:16:28

首先看一下MapReduce的工作流程图

Tez工作流程图

Tez学习笔记 --- Tez与MapReduce原理与分析

从上面两个图可以看出，Tez可以将多个有依赖的作业转换为一个作业（这样只需写一次HDFS，且中间节点较少），从而大大提升DAG作业的性能。Tez已被Hortonworks用于Hive引擎的优化，经测试，性能提升约100倍。