win7用eclipse开发MR,远程连接Hadoop集群问题总结
一. 可能需要修改win7用户(与hadoop集群用户保存一致),目前设置的电脑用户为hdfs;
二. 配置eclipse中的开发环境:http://www.cnblogs.com/huligong1234/p/4137133.html
注意:
1.配置hadoop location信息
2.下载
报错问题解决:
1、Caused by: java.lang.ClassNotFoundException: org.apache.hadoop.util.PlatformName
缺少jar:
2、
java.lang.VerifyError: class org.apache.hadoop.hdfs.protocol.proto.ClientNamenodeProtocolProtos$AppendRequestProto overrides final method getUnknownFields.()Lcom/google/protobuf/UnknownFieldSet;
解决方法:
3、
Exception in thread "main" java.lang.UnsatisfiedLinkError: org.apache.hadoop.io.nativeio.NativeIO$Windows.access0(Ljava/lang/String;I)Z
解决方法:
4、
java.lang.IllegalArgumentException: Wrong FS: hdfs://dp1:8020/tmp/wordcount/out, expected: file:///
下载核心配置文件