Hadoop伪分布式搭建
使用Hadoop-2.6.5进行伪分布式搭建
-
首先输入命令yum install lrzsz -y进行lrzsz安装,lrzsz是一款在linux里可代替ftp上传和下载的程序。安装过程中耐心等待,出现下图情况即安装成功
输入rz进行文件上传,我自己是在/opt目录下创建了一个software目录,用来安装文件 -
上传jdk和Hadoop
使用安装好的lrzsz,输入rz命令将jdk和Hadoop上传到虚拟机内好的software目录,然后使用tar -zxvf 文件名进行解压安装。 -
配置环境变量 使用vi/vim /etc/profile进入文件进行编辑,在下方配置jdk和Hadoop的环境
jdk环境:
export JAVA_HOME=/opt/software/jdk1.8.0_121
export PATH=JAVA_HOME/binHadoop坏境:
export HADOOP_HOME=/opt/software/hadoop-2.6.5
export PATH=HADOOP_HOME/bin:$HADOOP_HOME/sbin配置后使用source /etc/profile-----让环境变量生效
-
Hadoop安装后,其中会有俩个目录,分别放置不同的命令
bin—系统的操作命令(文件的增删改查)
sbin–系统的管理命令(集群的启动、关闭)切换到etc/hadoop目录下配置Hadoop的配置信息
1)使用vi slaves进入文件配置节点信息,由于伪分布式是1个节点,所以只需要把本虚拟机的主机名字写入保存退出即可,如下图:
2)使用vi hdfs-site.xml文件配置备份和持久化信息
3)使用vi core-site.xml配置主节点和主节点启动后产生的信息存放处 -
为了防止启动时找不到java配置的路径,所以将etc/hadoop下以-env.sh结尾的文件的JAVA路径全部改成绝对路径,如下图:
-
最后使用hdfs namenode -format-----让所有文件生效,使用/opt/software/hadoop/sbin----start-dfs.sh启动伪分布命令
使用谷歌浏览器输入自己电脑端口ip:50070回车进入,跳出页面即可搭建伪分布成功