centos7下hadoop2.6.5全分布式安装教程

1、准备虚拟机三台
192.168.25.101 node01
192.168.25.102 node02
192.168.25.103 node03
2、配置免密登录
略
3、jdk安装
下载jdk1.8
解压jdk资源包到/usr/local/java下
并设置jdk的环境变量
然后执行source /etc/profile使文件生效
执行java -version查看jdk安装是否成功

4、关闭linux防火墙
略
5、通过scp命令将/etc/profile、jdk、hadoop文件等拷贝到其他两台机器上
略
开始搭建集群
1、配置hadoop环境变量
vim /etc/profile

export JAVA_HOME=/usr/java/jdk1.8.0_181
export PATH=$PATH:$JAVA_HOME/bin
export CLASSPATH=.:$JAVA_HOME/lib/tools.jar:$JAVA_HOME/lib/dt.jar
export HADOOP_HOME=/opt/hadoop
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

3、etc/hadoop下配置hadoop-env.sh文件

export JAVA_HOME=/usr/java/jdk1.8.0_181

4、etc/hadoop下配置core.site.xml文件

        <property>
                <name>fs.defaultFS</name>
                <value>hdfs://mynode01:9000</value>
        </property>
        <property>
                <name>hadoop.tmp.dir</name>
                <value>/opt/haData</value>
        </property>

5、etc/hadoop下配置hdfs.site.xml文件

        <property>
                <name>dfs.replication</name>
                <value>2</value>
        </property>

6、etc/hadoop下配置yarn.site.xml文件

		<property>
                <name>yarn.resourcemanager.hostname</name>
                <value>mynode01</value>
        </property>
        <property>
                <name>yarn.nodemanager.aux-services</name>
                <value>mapreduce_shuffle</value>
        </property>

7、etc/hadoop下配置mapred.site.xml文件

		<property>
                <name>mapreduce.framework.name</name>
                <value>yarn</value>
        </property>

8、etc/hadoop下配置slaves文件

mynode01
mynode02
mynode03

9、格式化hdfs文件系统
hdfs namenode -format
10、启动hadoop
执行start-dfs.sh打开namenode,datanode节点，浏览器打开：192.168.25.101:50070登录namenode界面

执行start-yarn.sh启动resourceManager，浏览器192.168.25.101:8088查看

11、测试wordcount程序
现在linux下创建一个文件test.txt
vim test.txt并插入一些字符串
然后将test.txt上传至hdfs
hadoop fs -put test.txt /hello/test.txt
然后进行wordcount测试
进入hadoop安装目录
执行一下命令
hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.5.jar wordcount /hello/test.txt /hello/count
控制台查看

从控制台可看到运行成功

从resourcemanager也可以看到运行成功。

进入hdfs界面在/hello/count下会生成如下文件，part-r-00000文件为运行的结果文件