Apache Hadoop 3.1.0 正式发布,原生支持GPU和FPGA

4月6日,Apache Hadoop 3.1.0 正式发布了,Apache Hadoop 3.1.0 是2018年 Hadoop-3.x 系列的第一个小版本,并且带来了许多增强功能。不过需要注意的是,这个版本并不推荐在生产环境下使用,如果需要在正式环境下使用,请等待 3.1.1 或 3.1.2 版本。

Apache Hadoop 3.1.0 正式发布,原生支持GPU和FPGA

如果想及时了解Spark、Hadoop或者Hbase相关的文章,欢迎关注微信公共帐号:iteblog_hadoop

这个版本的 Hadoop 带来了许多重大的变化,如下:

  • YARN 原生支持 GPU(详见 YARN-6223)

  • YARN 原生支持 FPGA(详见 YARN-5983)

  • 支持原生的 YARN 服务(详见 YARN-5079 / YARN-4793 / YARN-4757 / YARN-6419)

  • YARN 新的调度放置策略

  • 支持 docker container

  • 容量调度(Capacity Scheduler):支持在执行队列映射时自动创建叶队列(详见 YARN-7117)

  • 允许将存储在 HDFS 之外的数据映射到 HDFS 并从 HDFS 进行寻址。

更多的详情请参见官方 Release Notes: http://hadoop.apache.org/docs/r3.1.0/hadoop-project-dist/hadoop-common/release/3.1.0/RELEASENOTES.3.1.0.html
Changelog:
http://hadoop.apache.org/docs/r3.1.0/hadoop-project-dist/hadoop-common/release/3.1.0/CHANGES.3.1.0.html

关于 Apache Hadoop 3.x 的重要特性,请参见 Apache Hadoop 3.0.0 GA版正式发布,可以部署到线上