学习记录--颤抖吧,hadoop(五)---搭建完全分布式hadoop集群(2)
上周日(8月20日)接通了网络,做了一些准备工作。打铁趁热,周一(21日)完成hadoop完全分布式的全部。
简单梳理下主要步骤:
- 选定一台机器作为 Master
- 在 Master 节点上配置 hadoop 用户、安装 SSH server、安装 Java 环境
- 在 Master 节点上安装 Hadoop,并完成配置
- 在其他 Slave 节点上配置 hadoop 用户、安装 SSH server、安装 Java 环境
- 修改各节点hostname,host, 配置ssh,实现无密码登陆(Master对Salve)
- 配置Master节点上的hadoop(slaves、core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml).
- 将 Master 节点上的 /usr/local/hadoop 目录复制到其他 Slave 节点上
- 在 Master 节点上开启 Hadoop
主要参考:(感谢)
1.http://www.powerxing.com/install-hadoop-cluster/
2.http://www.cnblogs.com/laov/p/3421479.html
过程还算顺利,遇到的问题:有一台centos6.3的系统下载jdk有问题,(好像是软件源的问题,找了几个方法,无法解决,没有深究。换成了centos6.5系统,问题解决)。
附上过程中的图片:
集群简单介绍