配置Hadoop伪分布式模式并运行WordCount示例操作实例演示步骤
该篇博客是基于hadoop单机模式的构建成功的前提下,进行直接操作的,关于
hadoop单机模式的构建可以参考为上一篇博文:http://blog.****.net/henni_719/article/details/77718642
PS:全程以root的角色进行配置安装
第一部分:伪分布式配置
伪分布模式主要涉及一下配置信息:
(1)修改hadoop的核心配置文件core-site.xml,主要配置hdfs的地址和端口号。
(2)修改hadoop中hdfs的配置文件hdfs-site.xml,只要配置replication(复制或备份)。
(3)修改hadoop中MapReduce的配置文件mapred-site.xml,主要配置JobTracker的地址和端口。
具体的操作步骤如下:
step_1:创建几个配置文件需要的目录,执行截图如下:
Step_2:配置core-site.xml文件
进入到相关目录下,打开core-site.xml文件,操作截图如下:
在文件中添加配置信息,添加后的内容同如下截图所示:
配置信息包括,hdfs默认端口号地址,临时文件存放目录信息!
Step_3:配置hdfs-site.xml文件
进入到相关目录下,打开hdfs-site.xml文件,操作截图如下:
在文件中添加配置信息,添加后的内容同如下截图所示:
设置hdfs的节点个数和信息,包括hdfs的节点路径、数据路径!
Step_4:配置mapred-site.xml文件
进入到相关目录,打开mapred-site文件,操作截图如下:
在打开的文件中添加相关配置信息,截图如下:
设置jobtracker的地址和端口号!
通过对上面三个文件的配置,最简单的伪分布式配置完成了!
第二部分:验证伪分布式开发环境是否搭建成功
通过第一部分对文件的修改,配置好了最简单的伪分布式,但不知道是否成功,第二部分,通过运行wordcount实例,用来测试是否配置成功!
Step_1:对hadoop的namenode格式化:
输入Y,完成格式化过程:
Step_2:启动hadoop并查询服务是否启动
使用java自带的jps命令查询出所有的守护进程:
Step_3:hadoop中用于监控集群的web页面:
dfs运行状态:http://localhost:50070/dfshealth.jsp
JobTracker信息界面:http:/localhost:50030/jobtracker.jsp
上述hadoop运行状态监控页面表明伪分布开发环境完全搭建成功!
第三部分:在伪分布式平台运行wordcount程序
通过第二部分,表明伪分布式开发环境搭建成,该部分通过实例,来测试伪分布式开发环境是否可以正常使用?
Step_1:在dfs中创建input目录:
此时创建的文件因为没有指定hdfs具体目录,所有会在当前用户下,创建input目录,查看web控制,操作截图如下:
Step_2:复制本地目录下的文件到dfs的input目录下:
可以在web端查看input目录下的文件,如下图所示
Step_3:在伪分户式模式下运行wordcount程序
由于之前单机模式下运行过,在目录下存储output目录,在执行中需要进行删除处理,运行wordcoutn程序,操作截图如下(注意操作目录)截图如下:
Step_4:查看程序运行结果:
在web端查看,截图如下:
通过命令行,显示运行结果截图:
此时在hadoop的web控制台会发现提交并运行成功的任务,截图如下:
第四部分:关闭Hadoop服务
通过四个部分,操作演示,Hadoop伪分布式环境搭建和测试完全成功,意味伪分布式能够正常使用!