Win7 安装hadoop并配置hadoop环境
阅读本文前,请先安装并配置好JAVA环境,具体步骤可百度,或者我后续有时间会出攻略
- 首先,去官网下载hadoop,网址:http://hadoop.apache.org/
点击 Download 进入下载界面,我下载的是 2.8.4 binary。
- 下载完成后解压,我解压的目录为 D:\hadoop\hadoop-2.8.4
3、配置环境变量
(1)计算机 –>属性 –>高级系统设置 –>高级选项卡 –>环境变量 –> 单击新建HADOOP_HOME
(2)Path环境变量下配置【%HADOOP_HOME%\bin;】变量
注:关于系统变量和用户变量,我个人喜好配置系统变量,因为搜索时先搜索系统变量,后搜索用户变量,而且我电脑也就我一个人使用。用户变量与系统变量的区别是:系统变量对于所有人生效,用户变量仅对当前登录用户生效。
4、hadoop环境测试:
起一个cmd窗口,起到hadoop/bin下,hadoop version,显示如下:
5、hadoop基本文件配置:hadoop配置文件位于:hadoop/etc/hadoop下
core-site.xml / hdfs-site.xml / mapred-site.xml / yarn-site.xml (四个文件的详细左右请百度,或者后期有时间我会单独补充)
(1)、core-site.xml
(2)、hdfs-site.xml
(3)、mapred-site.xml
(4)、yarn-site.xml
5、格式化系统文件:
hadoop/bin下执行 hdfs namenode -format
待执行完毕即可,不要重复format。
格式化完成后到hadoop/sbin下执行 start-dfs启动hadoop
访问:http://localhost:50070 网页类似下面这样
注:这步可能会有两个地方导致报错,一个是没有这两个文件,可以百度下载,或者如果大家需要可以私信我,我放网盘。另一个是文件存储路径,由于我这篇是在纯 win7 环境下装的,所有路径有所不同,大家可仔细看前面的 xml 文件配置,存在盘符路径 /d:/。、
6、在hadoop/sbin下启动start-yarn,访问http://localhost:8088可查看 资源、节点管理
7、运行hadoop提供的demo,计算单词数量
(1)、在你电脑任意位置创建一个文本文件如D:\hadoop\hadoop_test.txt
(2)、用dfs创建一个文件夹,名字任意
(3)、把hadoop_test.txt上传到dfs,并查看
-put 是上传命令
-ls是查看命令
如图:已经上传成功
(4)、然后运行hadoop 提供的demo,计算单词数
运行结果在dfs中的/test/output文件夹下,可用命令查看
至此我们的hadoop环境搭建工作就已经全部结束啦~