Gobblin data quality checker
QualityChecker用于数据质量检查,共有两种类型的QualityChecker:第一种,行级别检查器。用来决定每一条被处理的数据时候能被的提交进入下一个阶段。第二种:任务级别检查器。QualityChecker设置为OPTINAL时,表示QualityChecker可选,当数据质量不满足QualityChecker的策略policy时,只打印警告信息,不阻断job运行,当设置为FAIL时,阻断job执行。
实现自定义QualityChecker
1.行检查器
2,总行数检查器
3.时间跨度检查器