hadoop2.5.1伪分布式怎么部署

小编给大家分享一下hadoop2.5.1伪分布式怎么部署，相信大部分人都还不怎么了解，因此分享这篇文章给大家参考一下，希望大家阅读完这篇文章后大有收获，下面让我们一起去了解一下吧！

环境：Ubuntu 12.10 jdk 1.7

JDK和SSH下载安装不用再细说了，网上一大堆资料。

配置免登录命令：

  $ ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
  $ cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

前面已经将源码编译好了，将/data/hadoop-2.5.1-src/hadoop-dist/hadoop-2.5.1.tar.gz拷贝到/data目录下

解压tar -xvf hadoop-2.5.1.tar.gz

配置etc/hadoop/core-site.xml:

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
</configuration>

配置etc/hadoop/hdfs-site.xml:

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
</configuration>

配置YARN的配置文件etc/hadoop/mapred-site.xml:

<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>

配置etc/hadoop/yarn-site.xml:

<configuration>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
</configuration>

启动/停止namenode和datanode命令

cd /data/hadoop-2.5.1

sbin/start-dfs.sh

sbin/stop-dfs.sh

启动/停止YARN命令

sbin/start-yarn.sh

sbin/stop-yarn.sh

验证命令：

bin/hdfs namenode -format

bin/hdfs dfs -put etc/hadoop input

namenode地址:http://localhost:50070/

ResourceManager地址:http://localhost:8088/

以上是“hadoop2.5.1伪分布式怎么部署”这篇文章的所有内容，感谢各位的阅读！相信大家都有了一定的了解，希望分享的内容对大家有所帮助，如果还想学习更多知识，欢迎关注行业资讯频道！

hadoop2.5.1伪分布式怎么部署

相关推荐