spark任务卡住问题原因之一以及解决方案
本文是一个记录文，主要是参考网上的资料
Spark任务一直停在某个Stage不动问题
背景
- pyspark 在保存数据时，在最后4-5个stage 任务卡住不动，其他stage 10几分钟完成，这几个2h也没用完成，而且在sparkUI上面发现需要处理的数据0KB，实在是郁闷啊。网上查找资料如下，链接如上：
分析
主要是使用了spark 的推断执行机制，
缺点
- 开始推断执行，会启动多个task，保留率先完成的结果，因此可能导致占用资源较多。
- 不过可以将推断执行的条件设置的严苛一点，以缓解资源占用的问题。