Soark-checkPoint
1.检查点机制目标:
2.驱动程序容错:
启动失败后重启,会用getOrCreate方法从检查点目录初始化出StreamingContext
3.工作节点容错:
1.最佳方式还是使用可靠的数据源(HDFS、拉式Flume等)。
2.提供exactly once语义,即使一个工作节点上的数据处理失败,
容错后得出的结果和之前是一样的
1.检查点机制目标:
2.驱动程序容错:
启动失败后重启,会用getOrCreate方法从检查点目录初始化出StreamingContext
3.工作节点容错:
1.最佳方式还是使用可靠的数据源(HDFS、拉式Flume等)。
2.提供exactly once语义,即使一个工作节点上的数据处理失败,
容错后得出的结果和之前是一样的