9-3 数据分布概论
为什么要做数据分布?单机无法满足qps,数据量需求,所以对数据进行分区。比如有100份数据,按照一定规则分到100个子集当中
分区规则:顺序分区和哈希分区
顺序分区:在一些关系型数据库时候使用,比如有一份很大的数据按照天进行计算的,一张表无法满足,可以按照表名+时间戳
哈希分区:将数据进行打散,保证均匀的分配。hash(key)%3为0,1,2,为不用的分区
顺序分布:访问数据倾斜,按照userid进行划分,可能早期用户比较高,后期比较低
为什么要做数据分布?单机无法满足qps,数据量需求,所以对数据进行分区。比如有100份数据,按照一定规则分到100个子集当中
分区规则:顺序分区和哈希分区
顺序分区:在一些关系型数据库时候使用,比如有一份很大的数据按照天进行计算的,一张表无法满足,可以按照表名+时间戳
哈希分区:将数据进行打散,保证均匀的分配。hash(key)%3为0,1,2,为不用的分区
顺序分布:访问数据倾斜,按照userid进行划分,可能早期用户比较高,后期比较低