mysql2deepgreen数据同步方案

概述:为满足大数据量的查询需求以及未来可能存在的大数据挖掘需求,现阶段mycat+mysql的数据库架构已无法满足需求,需要更换分布式数据库

数据库选型为Deepgreen 25版本(稳定版)

 

涉及数据同步方案的更改

 

数据同步方案如下

mysql2deepgreen数据同步方案

注意事项

Maxwell负责拉取mysql数据源的binlog日志,同时maxwell会在源数据库中创建名为maxwell的数据库用来存放源数据库的schemal、表名、字段名、bin-log-postion等信息

在源库进行flush logs操作时会导致maxwell找不到上一次的bin-log位置点

所以需要手动删除源数据库上的maxwell数据库,重启maxwell来获取源数据的信息

 

同上在源数据库进行定期数据清理时要注意以下几点

1关闭maxwell停止bin-log获取

2手动删除源数据库上的maxwell数据库

3删除源数据库的需要清理的数据

4在源数据库上重置bin-log,resetmaster

5重启maxwell来获取新的bin-log位置点