源码之家

  • 首页
  • 文章
  • 问答
  • 下载
您的位置: 首页  >  文章  >  spark1.6和spark2.0内存管理的对比

spark1.6和spark2.0内存管理的对比

分类: 文章 • 2025-02-07 12:25:58

spark从1.6.4版本之后就直接到了2.0版本

下面简单说一下2.0内存管理的变化

在2.0之前,spark内存管理都是用静态管理的方式,主要是分成了三大块,比例为6(存储):2(执行):2(其他),如下图:

 

spark1.6和spark2.0内存管理的对比

 spark1.6和spark2.0内存管理的对比

 

spark2.0内存的管理发生了变化,开始使用统一内存管理,主要结构如下

spark1.6和spark2.0内存管理的对比

spark1.6和spark2.0内存管理的对比

 spark1.6和spark2.0内存管理的对比

storage和execution的动态占用机制 

spark1.6和spark2.0内存管理的对比

相关推荐

  • 阿里架构师的内存管理心得:如何避免内存溢出和频繁的垃圾回收?
  • PostgreSQL的内存管理机制三:AllocSet/MemoryContext实例删除和内存回收
  • 如何管理一段内存的分配和释放---2
  • 如何管理一段内存的分配和释放---3
  • 怎样通俗的理解操作系统中内存管理分页和分段?
  • 理解 iOS 和 macOS 的内存管理
  • 如何管理一段内存的分配和释放
  • spark1.6和spark2.0内存管理的对比
  • 【重点工具】anaconda中的conda工具和pip或pipenv包管理工具的区别对比总结
  • 减小内存的占用问题——享元模式和单例模式的对比分析
  • jmeter分布式配置
  • 处理机调度的概念和层次
    网站免责声明 网站地图 最新文章 用户隐私 版权申明
本站所有数据收集于网络,如果侵犯到您的权益,请联系网站进行下架处理。   

Copyright © 2018-2021   Powered By 源码之家    备案号:   粤ICP备20058927号