MapReduce在本地集群模式下运行debug

第一步：设置hadoop的在Window下运行配置

A、将hadoop（windows平台下编译的hadoop，注意版本）安装包解压一份到windows的任意一个目录***意我的安装包下

已经有winutils.exe这个重要文件了，这个文件是我主动放进去的，必需的）

安装包连接 https://pan.baidu.com/s/1skB28aT

B、在window系统中配置HADOOP_HOME指向你解压的安装包目录

C、在windows系统的path变量中加入HADOOP_HOME的bin目录

D、重启电脑

第二步：在idea中配置访问用户

MapReduce在本地集群模式下运行debug

在driver中加入代码，冲hdfs中读取数据，指定yarn，集群在本地运行

Configuration conf = new Configuration();
conf.set("fs.defaultFS", "hdfs://hadoop01:9000");
conf.set("yarn.resourcemanager.hostname", "hadoop01");

第三步启动项目会报错如下：

Exception in thread "main" java.lang.UnsatisfiedLinkError: org.apache.hadoop.io.nativeio.NativeIO$Windows.access0(Ljava/lang/String;I)Z
at org.apache.hadoop.io.nativeio.NativeIO$Windows.access0(Native Method)
at org.apache.hadoop.io.nativeio.NativeIO$Windows.access(NativeIO.java:557)
at org.apache.hadoop.fs.FileUtil.canRead(FileUtil.java:977)
at org.apache.hadoop.util.DiskChecker.checkAccessByFileMethods(DiskChecker.java:187)
at org.apache.hadoop.util.DiskChecker.checkDirAccess(DiskChecker.java:174)
at org.apache.hadoop.util.DiskChecker.checkDir(DiskChecker.java:108)

导致报错的原因是：

是你的hadoop.dll 文件和你当前的hadoop版本不匹配，

第一步没有处理好，解决这个问题的办法：一：重新将hadoop针对window进行编译。

或者采用方法二：

修改源码，下载相应版本的源码解压，找到NativeIO.java文件。将它加入到工程中去（注意在已有项目下建个相同的包，项目会自动舍弃.class文件引用java文件），如下图，并修改NativeIO.java。return access0(....);修改为return true;

MapReduce在本地集群模式下运行debug

相关推荐