Mac搭建hadoop平台
1.一直想在虚拟机下的ubuntu搭建hadoop平台,前段时间全部搞定,最近挂掉了,然后平台搭建出现问题啦。卡了几天,然后决定抛弃虚拟机,直接在mac搭建。
跟虚拟机一样,需要安装ssh。
此文不做介绍。
直接介绍hadoop平台的搭建:
1.官网下载haoop2.9.0。解压后直接移动/Users/yangting/
(1).进入/Users/yangting/hadoop-2.9.0/etc/hadoop目录下:打开:
修改一下两处为:
(2) 配置hdfs地址和端口进入目录打开core-site.xml
yangtingdeMacBook-Pro:hadoop yangting$ open core-site.xml
(3) 配置mapreduce中jobtracker的地址和端口
在相同的目录下,你可以看到一个mapred-site.xml.template
首先将文件重命名为mapred-site.xml
,同样将<configuration></configuration>
替换为
yangtingdeMacBook-Pro:hadoop yangting$ cp mapred-site.xml.template mapred-site.xml
yangtingdeMacBook-Pro:hadoop yangting$ open mapred-site.xml
(4) 修改hdfs备份数
相同目录下,打开hdfs-site.xml
加上
yangtingdeMacBook-Pro:hadoop yangting$ open hdfs-site.xml
(5)
格式化HDFS
这个操作相当于一个文件系统的初始化,执行命令hdfs namenode -format
在终端最终会显示成功
yangtingdeMacBook-Pro:etc yangting$ hdfs namenode -format
(6) 配置Hadoop环境变量
单个用户设置
~/.bash_profile (任意一个文件中添加用户级环境变量)
只需看与hadoop相关的配置
最后启动: ./sbin/start-all.sh
执行:j p s