从0开始搭建hadoop伪分布式集群(二:hadoop组件)
hadoop组件
安装hadoop
按alt + p键,进入sftp传输界面,执行指令
put D:/hadoop-2.4.1.tar.gz
将安装包传输到linux系统
之后回到linux,将hadoop解压到app文件夹下,执行
tar -zxvf hadoop-2.4.1.tar.gz -C app/
执行
cd /home/hadoop/app/hadoop-2.4.1/share
rm -rf doc
(doc文件没用,如果要将配置好的hadoop传送给其他机器,还占用空间,麻烦)
执行
cd /home/hadoop/app/hadoop-2.4.1/etc/hadoop
执行
vi hadoop-env.sh
再右键左上方标签,点击clone session,执行
$echo $JAVA_HOME
获取JAVA_HOME
填入文件hadoop-env.sh中
将
更改为
再执行vi core-site.xml
fs.defaultFS hdfs://HA3VM01:9000/ hadoop.tmp.dir /home/hadoop/app/hadoop-2.4.1/data/更改后如上,保存。
再执行vi hdfs-site.xml
dfs.replication 1更改后如上,保存。
执行
mv mapred-site.xml.template mapred-site.xml
vi mapred-site.xml
更改后如上,保存。
执行
vi yarn-site.xml
更改后如上,保存。
执行
sudo service iptables status
查看防火墙状态
sudo service iptables stop
关闭防火墙
执行
sudo chkconfig iptables --list
sudo chkconfig iptables off
执行
sudo vi /etc/profile
更改后,文件末尾如下
export JAVA_HOME=/home/hadoop/app/jdk1.7.0_65
export HADOOP_HOME=/home/hadoop/app/hadoop-2.4.1
export PATH=
P
A
T
H
:
PATH:
PATH:JAVA_HOME/bin:
H
A
D
O
O
P
H
O
M
E
/
b
i
n
:
HADOOP_HOME/bin:
HADOOPHOME/bin:HADOOP_HOME/sbin
执行
source /etc/profile
执行hadoop namenode -format
出现successfully,则为成功
执行
start-dfs.sh
执行过程如上图
之后执行jps
出现
则为成功
执行
cd /home/hadoop/app/hadoop-2.4.1/etc/hadoop
vi slaves
在文件末尾加入主机名称
HA3VM01
再执行
start-yarn.sh
结果如上图
执行jps
如上则为成功
在windows上查看hadoop界面
配置windows的hosts
进入
C:\Windows\System32\drivers\etc
文件末尾加上
192.168.2.156 HA3VM01
保存
在windows下的浏览器访问
http://HA3VM01:50070
若为active
则成功
测试传输:
在linux下执行
hadoop fs -put jdk-7u65-linux-i586.tar.gz hdfs://HA3VM01:9000/
点击图上画红线的file system,若有上传的文件,则成功。
如果执行
hadoop fs -get hdfs://HA3VM01:9000/jdk-7u65-linux-i586.tar.gz
则可以把hadoop文件系统的文件下载下来
如果执行
cd /home/hadoop/app/hadoop-2.4.1/share/hadoop/mapreduce
再执行
hadoop jar hadoop-mapreduce-examples-2.4.1.jar pi 5 5
若执行成功(如下图),
则为配置成功