Hadoop伪分布式搭建

使用Hadoop-2.6.5进行伪分布式搭建

  1. 首先输入命令yum install lrzsz -y进行lrzsz安装,lrzsz是一款在linux里可代替ftp上传和下载的程序。Hadoop伪分布式搭建安装过程中耐心等待,出现下图情况即安装成功
    Hadoop伪分布式搭建
    输入rz进行文件上传,我自己是在/opt目录下创建了一个software目录,用来安装文件
    Hadoop伪分布式搭建

  2. 上传jdk和Hadoop
    使用安装好的lrzsz,输入rz命令将jdk和Hadoop上传到虚拟机内好的software目录,然后使用tar -zxvf 文件名进行解压安装。
    Hadoop伪分布式搭建

  3. 配置环境变量 使用vi/vim /etc/profile进入文件进行编辑,在下方配置jdk和Hadoop的环境
    Hadoop伪分布式搭建
    jdk环境:
    export JAVA_HOME=/opt/software/jdk1.8.0_121
    export PATH=PATH:PATH:JAVA_HOME/bin

    Hadoop坏境:
    export HADOOP_HOME=/opt/software/hadoop-2.6.5
    export PATH=PATH:PATH:HADOOP_HOME/bin:$HADOOP_HOME/sbin

    配置后使用source /etc/profile-----让环境变量生效

  4. Hadoop安装后,其中会有俩个目录,分别放置不同的命令

    bin—系统的操作命令(文件的增删改查)
    sbin–系统的管理命令(集群的启动、关闭)

    切换到etc/hadoop目录下配置Hadoop的配置信息
    1)使用vi slaves进入文件配置节点信息,由于伪分布式是1个节点,所以只需要把本虚拟机的主机名字写入保存退出即可,如下图:
    Hadoop伪分布式搭建
    2)使用vi hdfs-site.xml文件配置备份和持久化信息
    Hadoop伪分布式搭建
    3)使用vi core-site.xml配置主节点和主节点启动后产生的信息存放处
    Hadoop伪分布式搭建

  5. 为了防止启动时找不到java配置的路径,所以将etc/hadoop下以-env.sh结尾的文件的JAVA路径全部改成绝对路径,如下图:
    Hadoop伪分布式搭建

  6. 最后使用hdfs namenode -format-----让所有文件生效,使用/opt/software/hadoop/sbin----start-dfs.sh启动伪分布命令
    使用谷歌浏览器输入自己电脑端口ip:50070回车进入,跳出页面即可搭建伪分布成功
    Hadoop伪分布式搭建