本地Ubuntu 16.04 LTS空闲时以及运行Hadoop与Spark作业时系统状态对比

        这条博文仅仅是记录一下Hadoop与Spark作业时本地机子的工作状态。

        本地硬件环境如图1至3所示,亦可参见本人博客;软件环境另参见本人博客

本地Ubuntu 16.04 LTS空闲时以及运行Hadoop与Spark作业时系统状态对比
图1 系统硬件概况

 

本地Ubuntu 16.04 LTS空闲时以及运行Hadoop与Spark作业时系统状态对比
图2 固态硬盘系统分区概况

 

本地Ubuntu 16.04 LTS空闲时以及运行Hadoop与Spark作业时系统状态对比
图3 机械硬盘系统分区概况

 

        接下来分别展示系统在空闲(未运行Hadoop或Spark作业)时、运行Hadoop作业时、同时运行Hadoop与Spark作业时的工作状态。

本地Ubuntu 16.04 LTS空闲时以及运行Hadoop与Spark作业时系统状态对比
图4 系统空闲时工作状态概况

 

本地Ubuntu 16.04 LTS空闲时以及运行Hadoop与Spark作业时系统状态对比
图5 系统运行Hadoop作业时工作状态

 

本地Ubuntu 16.04 LTS空闲时以及运行Hadoop与Spark作业时系统状态对比
图6 系统运行Spark作业时工作状态
本地Ubuntu 16.04 LTS空闲时以及运行Hadoop与Spark作业时系统状态对比
图7 系统运行Hadoop与Spark作业时工作状态

 

        由图4至7所示知,Hadoop真的非常消耗内存,16 GB内存可以占用73.1%(11.4 GB),系统内存为8 GB的朋友不推荐在本地跑Hadoop与Spark。