IDEA搭建hadoop开发环境

准备工作:

1、在官网下载hadoop包      https://hadoop.apache.org/releases.html

IDEA搭建hadoop开发环境

2、有两个包,hadoop-2.8.4.tar.gz   是hadoop安装包 ; hadoop-2.8.4-src.tar.gz    主要是开发环境需要的lib的jar包。

IDEA搭建hadoop开发环境

3、需要安装JDK,并配置环境变量。

配置的时候,需要注意,安装时候有jdk和jre两个,需要分别安装路径。

IDEA搭建hadoop开发环境

4、需要一个IDEA,安装和**可自行百度。

环境部署:

1、新建一个项目,

IDEA搭建hadoop开发环境

IDEA搭建hadoop开发环境

2、选择Project Structure.

IDEA搭建hadoop开发环境

3、选择Libraries,点击加号,选择hadoop-2.8.4-src.tar.gz 的安装目录,进行导入。

IDEA搭建hadoop开发环境IDEA搭建hadoop开发环境

IDEA搭建hadoop开发环境

环境测试:

编写MR代码,没有红色报错,就部署成功了。

IDEA搭建hadoop开发环境