源码之家

  • 首页
  • 文章
  • 问答
  • 下载
您的位置: 首页  >  文章  >  【Spark on Kubernetes】Executor环境变量

【Spark on Kubernetes】Executor环境变量

分类: 文章 • 2025-02-08 11:43:52

今天在给 Executor 配置环境变量的时候,以为 Executor 环境变量跟 Driver 一样是通过 spark.kubernetes.driverEnv.XXX=YYY,最后发现其实是 spark.executorEnv,要注意 Env 的大小写,都是细节…
可以看到下图,其实 Spark on Kubernetes 的文档,并没有写,所以 Executor 环境变量就是普通的参数即可。
【Spark on Kubernetes】Executor环境变量
【Spark on Kubernetes】Executor环境变量

相关推荐

  • 菜鸟的Spark 源码学习之路 -5 Executor源码
  • spark executor-cores参数并未对vcores生效的原因分析
  • 解析Spark Executor内幕,详解CoarseGrainedExecutorBackend
  • Spark[一]——Spark的进程们[Driver、Master、Worker、Executor]
  • Spark Standalone模式下角色说明(Client 、Master、Worker、Driver、Executor)
  • Spark 核心概念:Master、Worker、Driver Program、Executor、RDDs
  • 【Spark on Kubernetes】Executor环境变量
  • 如何实现Spark on Kubernetes?
  • Spark---JVM调优之调节executor离堆内存与连接等待时长
  • Spark2.x---5.Executor模块
  • 中软国际:开启数字化转型的缘分天空
  • 让容器应用管理更快更安全,Dragonfly 发布 Nydus 容器镜像加速服务
    网站免责声明 网站地图 最新文章 用户隐私 版权申明
本站所有数据收集于网络,如果侵犯到您的权益,请联系网站进行下架处理。   

Copyright © 2018-2021   Powered By 源码之家    备案号:   粤ICP备20058927号