java.lang.SecurityException: Invalid signature file digest for Manifest main attributes
在hadoop集群中运行自己的MapReduce程序时报异常:Exception in thread “main” java.lang.SecurityException: Invalid signature file digest for Manifest main attributes解决方案!!!
说明:
本人我是在做自己的一个商场项目的时候,从项目中抽取了一个单独的MapReduce模块用于做一些简单的数据分析!
异常如下:
Exception in thread "main" java.lang.SecurityException: Invalid signature file digest for Manifest main attributes
at sun.security.util.SignatureFileVerifier.processImpl(SignatureFileVerifier.java:330)
at sun.security.util.SignatureFileVerifier.process(SignatureFileVerifier.java:263)
at java.util.jar.JarVerifier.processEntry(JarVerifier.java:318)
at java.util.jar.JarVerifier.update(JarVerifier.java:230)
at java.util.jar.JarFile.initializeVerifier(JarFile.java:383)
at java.util.jar.JarFile.getInputStream(JarFile.java:450)
at org.apache.hadoop.util.RunJar.unJar(RunJar.java:117)
at org.apache.hadoop.util.RunJar.unJar(RunJar.java:94)
at org.apache.hadoop.util.RunJar.run(RunJar.java:227)
at org.apache.hadoop.util.RunJar.main(RunJar.java:153)
大体流程如下:
- 从指定的文件中读取人日志文件
- 使用MapReduce程序对日志文件做数据清洗和数据分析
- 将分析的结果写入到mysql数据库中
项目结构如下:
当我编写好自己的MapReduce分析程序后,在idea中我手动的将程序进行打包,然后将打好的包上传到虚拟机中,开始执行hadoop jar 命令来运行自己打的jar包,结果就开始报错了!查看了异常信息,大概意思就是说签名无效,在网上也参考了一些解决的方案,如下:
1.stack over flow上说明得较为详细!
2.网上较为主流的说法!
但是试过了以上两个解决方案后,好像对我的问题仍然不起作用!于是我开始寻思着是不是自己手动打包的过程中出现了问题!后来我尝试打包的时候排除一些不相关的依赖包!只留下该模块要使用的依赖包,再次进行手动打包操作!如下:
然后将打好的包再次提交到集群进行运行,成功!
以上只是个人遇到的问题!可能不具有通用的参考价值,特此记录学习!