Spark学习之路——5.Spark UI
一、Spark UI解读
Jobs页面可以看到所有Jobs的执行情况，job的数量取决于action算子的数量。
Stages页面列出所有Stage的执行情况。Spark stage切分是按照宽依赖来区分的，因此粒度上要比job更细一些。
Storage页面显示所做的cache persist等操作。
Environment页面里面展示了当前spark所依赖的环境，比如jdk，lib等等
Executors页面显示executor运行情况，这里可以看到执行者申请使用的内存以及shuffle中input和output的内存等数据。
二、分别用local/standalone/yarn模式运行workcount
1.通过Spark UI来查看执行进度：
①Local模式：
②standalone模式
③yarn模式
2.截取执行成功后输出的结果
①local模式
②standalone模式
③yarn-client模式