如何从运行Spark应用程序获取聚合日志

问题描述：

我有一个连续运行的Spark应用程序，它从Kafka读取消息并执行一些处理。有没有办法获得聚合的“应用程序日志”？如何从运行Spark应用程序获取聚合日志

AFAIK，仅当SparkContext被销毁时才会发生日志聚合。

你在YARN上运行吗？你想在YARN的日志？ –

是的阿伦。这里是我的命令 -/usr/bin/spark-submit --master yarn --deploy-mode client --supervise --driver-memory 20G --executor-memory 20G --driver-class-path =/home/jvadisela /spark/guava-18.0.jar:/home/jay/spark/jackson-core-2.4.5.jar --class com.collectivei.datarollup.entry.Startup /home/jay/spark/Test-0.0.1- SNAPSHOT-jar-with-dependencies.jar –

它是一个流媒体应用程序吗？ –

答

你有没有试过标准的YARN命令日志？

纱线日志-applicationId some-id

如何从运行Spark应用程序获取聚合日志

相关推荐