灵活管理Hadoop各发行版的运维利器 - vSphere Big Data Extensions
vSphere Big Data Extensions(BDE)提供了部署Hadoop多种厂商发行版的巨大灵活性,为客户提供三大价值:
为所支持的Hadoop版本提供调优的基础架构,VMware和Hadoop发行版厂商彼此认证
在统一虚拟化平台上部署、运行和管理异构的Hadoop集群,满足多租户的不同需求
不必被单一Hadoop发行版厂商所绑定,保护投资回报
管理Hadoop发行版
Apache Hadoop 1.2是开源社区的原生Hadoop,BDE已经包含Apache Hadoop的安装包,用户无需额外下载和配置,可以直接创建基于Apache Hadoop版本的Hadoop集群。
Serengeti CLI提供了命令行,查看当前支持哪些Hadoop发行版:
distro list
这个命令返回当前BDE实例管理着哪些Hadoop发行版,包括发行版的名称,厂商,版本号,所支持Hadoop相关组件, 和是否支持HVE等信息。如下图所示:
用户也可以通过BDE的Web UI来查看所有已添加的Hadoop发行版
打开vCenter Server Web Client,并登录
左边导航栏,点击Big Data Extensions
-
在Inventory Lists下,点击Hadoop Distributions查看结果
如下图所示:
通过上面的BDE的例子发现,其不仅支持Apache Hadoop 1.2,还支持其它商业Hadoop发行版。命令行和UI查看的方法不同,但结果是一致的。
读者会问:BDE默认发行并安装Apache Hadoop 1.2这个社区的发行版,其它Hadoop发行版是哪里来的?如何去管理它们?我们要从两个层面去理解这个问题:
产品发行层面:除了Apache Hadoop,其余Hadoop发行版都是厂家支持的商业发行版需要软件发行许可,BDE作为VMware商业产品,目前不支持绑定发布。但BDE提供了命令行管理工具,让用户有办法自己部署和配置Hadoop商业发行版。
-
发行版管理层面:BDE作为一个管理平台能够管理多种商业发行版,并且创建和管理异构的Hadoop集群。VMware已先后与Greenplum, Pivotal, Cloudera和MapR等大数据厂商宣布合作关系,在vSphere虚拟化环境下运行这些厂商Hadoop集群也获得了官方的认证。
下面的表格是官方BDE 1.0 Beta所能支持的发行版本和部署方式:
发行版本 |
缩略名 |
厂商(社区) |
部署方式 |
Apache Hadoop 1.2 |
Apache |
Apache社区 |
Tarball |
GPHD 1.2 |
GPHD |
Pivotal |
Tarball |
Pivotal HD 1.0 |
PHD |
Pivotal |
Yum |
Hortonworks 1.3 |
HDP |
Hortonworks |
Tarball |
CDH3 Update 6 |
CDH3u6 |
Cloudera |
Tarball |
CDH 4.2 MapReduce v1 |
CDH4 |
Cloudera |
Yum |
CDH 4.2 YARN |
CDH4 |
Cloudera |
Yum |
MapR 2.1.3 |
MapR |
MapR |
Yum |
在接下来的博文里,会以具体Hadoop发行版为实例来展示在BDE中,如何灵活部署新的Hadoop发行版,并创建相应的Hadoop集群:
如有任何问题,您可以发邮件至[email protected]。
关于vSphere Big Data Extensions:
VMware vSphere Big Data Extensions(简称BDE)基于vSphere平台支持大数据和Hadoop作业。BDE以开源Serengeti项目为基础,为企业级用户提供一系列整合的管理工具,通过在vSphere上虚拟化Hadoop,帮助用户在基础设施上实现灵活、弹性、安全和快捷的大数据部署、运行和管理工作。了解更多关于VMware vSphere Big Data Extensions的信息,请参见http://www.vmware.com/hadoop。
作者简介:
VMware大数据解决方案项目经理
目前负责VMware大数据解决方案的管理和市场工作。曾担任VMware数据库管理产品vFabric Data Director产品经理,对虚拟化、云计算、关系型数据库和大数据等企业产品、技术方案和市场有深入的理解和实战经验。在此之前,就职于Microsoft从事分布式系统的产品管理和研发工作。
转载于:https://blog.51cto.com/vbigdata/1282801