IDEA搭建hadoop开发环境
准备工作:
1、在官网下载hadoop包 https://hadoop.apache.org/releases.html
2、有两个包,hadoop-2.8.4.tar.gz 是hadoop安装包 ; hadoop-2.8.4-src.tar.gz 主要是开发环境需要的lib的jar包。
3、需要安装JDK,并配置环境变量。
配置的时候,需要注意,安装时候有jdk和jre两个,需要分别安装路径。
4、需要一个IDEA,安装和**可自行百度。
环境部署:
1、新建一个项目,
2、选择Project Structure.
3、选择Libraries,点击加号,选择hadoop-2.8.4-src.tar.gz 的安装目录,进行导入。
环境测试:
编写MR代码,没有红色报错,就部署成功了。