离线计算与实时批处理
1、为什么spark不适合做实时批处理?
答:比如spark on yarn的时候,申请资源的过程非常慢,即使是数据量小、计算简单的application,其申请资源的时间远大于计算的时间,但是可以尝试通过写一个boot服务,把sc该厂一个长(常)服务,控制在10-15秒以内是非常完美的
待续。。。
1、为什么spark不适合做实时批处理?
答:比如spark on yarn的时候,申请资源的过程非常慢,即使是数据量小、计算简单的application,其申请资源的时间远大于计算的时间,但是可以尝试通过写一个boot服务,把sc该厂一个长(常)服务,控制在10-15秒以内是非常完美的
待续。。。