win7用eclipse开发MR,远程连接Hadoop集群问题总结

一. 可能需要修改win7用户(与hadoop集群用户保存一致),目前设置的电脑用户为hdfs;

二. 配置eclipse中的开发环境:http://www.cnblogs.com/huligong1234/p/4137133.html

注意:

1.配置hadoop location信息

win7用eclipse开发MR,远程连接Hadoop集群问题总结

2.下载

win7用eclipse开发MR,远程连接Hadoop集群问题总结

报错问题解决:

1、Caused by: java.lang.ClassNotFoundException: org.apache.hadoop.util.PlatformName

缺少jar:win7用eclipse开发MR,远程连接Hadoop集群问题总结

2、

java.lang.VerifyError: class org.apache.hadoop.hdfs.protocol.proto.ClientNamenodeProtocolProtos$AppendRequestProto overrides final method getUnknownFields.()Lcom/google/protobuf/UnknownFieldSet;

解决方法:win7用eclipse开发MR,远程连接Hadoop集群问题总结

3、

Exception in thread "main" java.lang.UnsatisfiedLinkError: org.apache.hadoop.io.nativeio.NativeIO$Windows.access0(Ljava/lang/String;I)Z

 

解决方法:

win7用eclipse开发MR,远程连接Hadoop集群问题总结

4、

java.lang.IllegalArgumentException: Wrong FS: hdfs://dp1:8020/tmp/wordcount/out, expected: file:///

下载核心配置文件

win7用eclipse开发MR,远程连接Hadoop集群问题总结