mysql2deepgreen数据同步方案
概述:为满足大数据量的查询需求以及未来可能存在的大数据挖掘需求,现阶段mycat+mysql的数据库架构已无法满足需求,需要更换分布式数据库
数据库选型为Deepgreen 25版本(稳定版)
涉及数据同步方案的更改
数据同步方案如下
注意事项
Maxwell负责拉取mysql数据源的binlog日志,同时maxwell会在源数据库中创建名为maxwell的数据库用来存放源数据库的schemal、表名、字段名、bin-log-postion等信息
在源库进行flush logs操作时会导致maxwell找不到上一次的bin-log位置点
所以需要手动删除源数据库上的maxwell数据库,重启maxwell来获取源数据的信息
同上在源数据库进行定期数据清理时要注意以下几点
1关闭maxwell停止bin-log获取
2手动删除源数据库上的maxwell数据库
3删除源数据库的需要清理的数据
4在源数据库上重置bin-log,resetmaster
5重启maxwell来获取新的bin-log位置点