Linux下用Eclipse开发调试Hadoop程序后打jar包后，到Hadoop集群上运行
分类:
文章
•
2023-12-17 12:49:22
- Linux系统(Ubuntu14.10)下Hadoop开发环境搭建
下载Eclipse，解压安装，下载hadoop-eclipse-plugin-2.5.1.jar插件，放至/eclipse/plugins/目录下。创建hadoop连接。这样就可以用eclipse编写Hadoop程序，调试正确后，就可以打成jar包，提交到Hadoop分布式集群中运行。注意，在Eclipse中运行程序，并没有提交到Hadoop集群中去。
- Eclipse中编写Hadoop程序
由于Hadoop插件装好了，Eclipse中会出现一个“Map/Reduce Project”选项，根据自己的需求，编写Hadoop程序代码。调试之后，就可以打包了。打包的方式基本有两类，一类用jar命令，另一类就是Eclipse自己Export打包。这里选择第一类，比较方便。
- jar打包命令
在终端输入jar打包命令，并指定主类：jar -cvfe filename.jar package1.package2.MainClassName package1/package2/MainClassName.class。注意，这个命令执行时，要先切换用户（Eclipse拥有者用户），并进入Eclipse工程文件下的bin目录。
- 提交jar包到Hadoop分布式集群上运行
切换到Hadoop用户，将filename.jar复制到Hadoop目录下，通过命令运行jar包： bin/hadoop jar filename.jar
- 打包及运行的终端命令
