centos6.5 安装 hadoop 0.23.11 伪分布搭建

虚拟机是VMware10.0 + centos6.5, 配置难度不算高,

物理机IP:192.168.1.101,网关:192.168.1.1

虚拟机IP:192.168.1.201,网关:192.168.1.1

VMware Network Adapter VMnet8 IP:192.168.1.200 (NAT)

 

 

有两个问题:

1. 用PieTTY连接centos时,会拒绝连接,原因是sshd没有启动,需要配置sshd自动启动

#chkconfig --level 5 sshd on

2. 虚拟机无法上网,我暂时不知道怎么解决,目前不影响工作。

 

hadoop配置参考的是http://www.tuicool.com/articles/UnUnm2

但是里面漏写了几个地方,还有一些错误

1. 在运行start-dfs.sh 之前要格式化namenode,否则namenode进程不会启动,运行hadoop namenode -format

2. 运行start-yarn.sh 会出现找不到JAVA_HOME错误,有人说配置文件不是unix格式,好像不是这个问题。我是修改的 libexec/hadoop-config.sh, 在最上面加上JAVA_HOME=/usr/java/jdk8

3. 查到很多资料说可以把所有的环境变量配置到hadoop-env.sh这个文件,但是我没有找到,还是用老式的profile。有成功的朋友可以分享下,可能就是指hadoop-config.sh。

 

我折腾了几个晚上,最后祝大家都能配置成功。 centos6.5 安装 hadoop 0.23.11 伪分布搭建