spark1.6和spark2.0内存管理的对比
spark从1.6.4版本之后就直接到了2.0版本
下面简单说一下2.0内存管理的变化
在2.0之前,spark内存管理都是用静态管理的方式,主要是分成了三大块,比例为6(存储):2(执行):2(其他),如下图:
spark2.0内存的管理发生了变化,开始使用统一内存管理,主要结构如下
spark从1.6.4版本之后就直接到了2.0版本
下面简单说一下2.0内存管理的变化
在2.0之前,spark内存管理都是用静态管理的方式,主要是分成了三大块,比例为6(存储):2(执行):2(其他),如下图:
spark2.0内存的管理发生了变化,开始使用统一内存管理,主要结构如下