您的位置: 首页  >  文章  >  Hadoop伪分布式配置

Hadoop伪分布式配置

分类: 文章 • 2024-02-17 21:10:10

Hadoop伪分布式配置

1. 环境
机器centos7 hadoop2.7.1
2. 安装准备
2.1创建创建hadoop用户
创建用户useradd -m hadoop -G root -s /bin/bash
修改用户密码 passwd hadoop
Hadoop伪分布式配置
创建用户权限visudo
hadoop ALL=(ALL) ALL 最大的权限和root一样
Hadoop伪分布式配置
2.2安装SSH、配置SSH无密码登陆

  1. 集群、单节点模式都需要用到 SSH 登陆（类似于远程登陆，你可以登录某台 Linux 主机，并且在上面运行命令），一般情况下，CentOS 默认已安装了 SSH client、SSH server，打开终端执行如下命令进行检验 rpm –qa |grep ssh
    Hadoop伪分布式配置
    如果出现了如图结果表示不用安装ssh
    没有的话需要安装 可以通过yum进行安装
    yum install openssh-clients
    yum install openssh-server
    接着执行如下命令测试一下 SSH 是否可用：
    ssh localhost
    此时会有如下提示(SSH首次登陆提示)，输入 yes 。然后按提示输入密码 hadoop，这样就登陆到本机了。
    Hadoop伪分布式配置
    每次要输入密码的不方便 我们要配置ssh无密码登陆比较方便步骤如下

  2. exit # 退出刚才的 ssh localhost

  3. cd ~/.ssh/ # 若没有该目录，请先执行一次ssh localhost

  4. ssh-****** -t rsa # 会有提示，都按回车就可以

  5. cat id_rsa.pub >> authorized_keys # 加入授权

  6. chmod 600 ./authorized_keys # 修改文件权限

  7. 输入ssh localhost 直接登录了
    Hadoop伪分布式配置
    2.3jdk安装
    介质准备：jdk-8u144-linux-x64.rpm
    删除自带的OpenJDK（如果有）
    使用root用户，输入命令：rpm -qa | grep jdk
    使用root用户，输入命令：yum remove openjdk
    安装JDK：rpm -ivh jdk-8u144-linux-x64.rpm
    Hadoop伪分布式配置
    查看JAVA版本：java –version
    . 设置环境变量
    vi /etc/profile
    在文件最后添加
    JAVA_HOME=/usr/java/jdk1.8.0_144
    JRE_HOME=/usr/java/jdk1.8.0_144/jre
    PATH=PATH:PATH:JAVA_HOME/bin:JREHOME/binCLASSPATH=.:JRE_HOME/bin CLASSPATH=.:JAVA_HOME/lib/dt.jar:JAVAHOME/lib/tools.jar:JAVA_HOME/lib/tools.jar:JRE_HOME/lib
    export JAVA_HOME JRE_HOME PATH CLASSPATH
    source /etc/profile
    退出命令行重新进入，查看环境变量是否生效
    Hadoop伪分布式配置
    2.4 安装hadoop2.9.0
    下载hadoop2.9.0
    解压hadoop2.9.0
    tar -xvf hadoop-2.8.0.tar.gz
    Hadoop伪分布式配置
    在hadoop里面建几个文件夹
    mkdir dfs
    mkdir tmp
    mkdir var
    mkdir dfs/name
    mkdir dfs/data
    进入/usr/local/hadoop/hadoop-2.9.0/etc/hadoop
    vim core-site.xml
    修改配置文件 

    <name>hadoop.tmp.dir</name>

<value>/usr/local/hadoop/hadoop-2.9.0</value>

<description>Abase for other temporary directories.</description>

    <name>fs.default.name</name>

    <value>hdfs://192.168.248.140:9000</value>

            </property>

Hadoop伪分布式配置
修改hadoop-env.sh 修改成jdk安装的位置
Hadoop伪分布式配置
修改配置文件修改hdfs-site.xml
修改/opt/hadoop/hadoop-2.8.0/etc/hadoop/hdfs-site.xml文件
在configuration节点内加入配置:
Hadoop伪分布式配置
Hadoop伪分布式配置
Hadoop伪分布式配置
Hadoop伪分布式配置
说明：dfs.permissions配置为false后，可以允许不要检查权限就生成dfs上的文件，方便倒是方便了，但是你需要防止误删除，请将它设置为true，或者直接将该property节点删除，因为默认就是true。

新建并且修改mapred-site.xml
在该版本中，有一个名为mapred-site.xml.template的文件，复制该文件，然后改名为mapred-site.xml，命令是：cp mapred-site.xml.template mapred-site.xml
Hadoop伪分布式配置
Hadoop伪分布式配置
配置完成后，执行 NameNode 的格式化
在hapdoop bin目录中执行命令./bin/hdfs namenode –format（出现我画的表示成功）
Hadoop伪分布式配置
Hadoop伪分布式配置
接着开启 NameNode 和 DataNode 守护进程。
启动命令 ./sbin/start-dfs.sh 密码为welcome1
Hadoop伪分布式配置
停止命令 ./sbin/start-dfs.sh
查看启动成功没：jps
Hadoop伪分布式配置
访问页面地址http://192.168.248.140:50070/
Hadoop伪分布式配置

相关推荐