大数据7_04_Sqoop同步策略
4 Sqoop同步策略
小公司，为了处理简单，业务表数据量小的情况下，一般是全量导入。
中大型公司，由于数据量比较大，需要严格按照同步策略导入数据。
业务数据上传到HDFS需要一个同步策略。来保证数据两边数据是一致的。
Ø 全量表：存储完整的数据。
Ø 增量表：存储新增加的数据。
Ø 新增及变化表：存储新增加的数据和变化的数据。
Ø 特殊表：只需要存储一次。
4.1 全量同步
每日全量，就是每天存储一份完整数据，作为一个分区。
适用于数据量不大，且每天既会有新数据生成，也会有旧数据更改的场景。
4.2 增量同步
每日增量，就是每天存储一份增量数据，作为一个分区。
适用于数据量大，且每天只会有新数据插入的场景。
4.3 新增及变化同步
每日新增及变化，就是存储创建时间和操作时间都是今天的数据。
适用于表的数据量大，既会有新增，又会有变化。
4.4 特殊情况
某些特殊的维度表。
1 客观世界维度，没有变化的客观世界的维度。
比如性别、地区、民族、政治成分、鞋子尺码等只存一份固定值。
2 日期维度
一次性导入一年或者若干年的数据。