伪分布式运行 Hadoop

1.修改etc/hadoop目录下hadoop-env.sh

     export JAVA_HOME=/opt/module/jdk1.8.0_122

2.修改同样目录下core-site.xml，增加配置

<!-- 指定 HDFS 中 NameNode 的地址 -->

<property>  

         <name>fs.defaultFS</name>  

         <value>hdfs://hadoop101:9000</value>

</property> 
 
<!-- 指定 hadoop 运行时产生文件的存储目录 -->

<property>  

            <name>hadoop.tmp.dir</name>  

            <value>/opt/module/hadoop-2.7.2/data/tmp</value>

</property>

3.修改同目录下hdfs.xml目录下hdfs-site.xml，增加配置(副本默认值为3)

<!-- 指定 HDFS 副本的数量 -->

 <property>  

         <name>dfs.replication</name>  

          <value>1</value>

 </property>

4.格式化namenode（只需要第一次进入是格式化namenode），namenode相当于hdfs存储文件中的目录

    命令：bin/hdfs dfs namenode -format

5.启动namenode

   命令：sbin/hadoop-daemon.sh start namenode 

6.启动datanode（datanode为hdfs存储源文件的位置）

  命令：sbin/hadoop-daemon.sh start datanode

7.jps查看线程启动情况

8.hdfs 基本命令：

   bin/hdfs dfs -mkdir -p user/zbb/input 新建目录

   bin/hdfs dfs -put wcinput/wc.input  /user/zbb/input  上传文件

  bin/hdfs dfs -ls /user/zbb/input 查看目录

  bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar wordcount /user/zbb/input /user/zbb/output运行hadoop wordcount

 bin/hdfs dfs -cat /user/zbb/output/* 查看文件

bin/hdfs dfs -get /user/zbb/output/* ./11/  获取文件

 bin/hdfs dfs -rm -r /user/zbb/output  删除文件

基本命令与linux命令相差无多

9.http://ip:50070/dfshealth.html#tab-overview web访问查看文件情况

10.如启动不起来，可查看日志，位置职位如下图，日志在/opt/module/hadoop-2.7.2/logs/hadoop-zbb-datanode-hadoop101.out