通过传递证书在AWS EMR上运行spark
问题描述:
我是EMR的新手,尝试使用类似command-runner.jar spark-submit --deploy-mode cluster --class com.xx.xx.className s3n://mybuckets/spark-jobs.jar
的步骤启动Spark作业。但是,spark作业需要证书作为环境变量,我的问题是什么才是最好的方法将凭据作为环境变量传递给spark工作。
谢谢!通过传递证书在AWS EMR上运行spark
答
看看这里:AWS EMR 4.0 - How can I add a custom JAR step to run shell commands这里:http://docs.aws.amazon.com/emr/latest/ReleaseGuide/emr-hadoop-script.html 试运行的步骤是这样的(参数):在/ usr/bin中/火花提交--deploy模式集群--class