您的位置: 首页  >  文章  >  MySQL ES 数据同步方案

MySQL ES 数据同步方案

分类: 文章 • 2024-03-18 10:56:28

架构图

架构图
MySQL ES 数据同步方案

说明

业务数据

拟支持如下数据源：

  • RDS（关系型数据库）；
  • DRDS（分布式关系型数据库）；
  • MongoDB；
  • KV存储（Redis、Memercache）；
  • MQ（消息队列里）
  • OSS（对象存储）

数据抽取

拟采用如下几种方式：

  • 针对MySQL，用阿里Canal抓取binlog做实时增量；
  • 针对Mongodb，用阿里KafkaShake抓取opLog做实时增量；
  • 针对其他，采用自研工具做全量与增量
    • 支持定时增量与全量
    • 支持开放接口手动增量与全量
  • 自研组件，对db数据的读取应遵循：
    • 串行+分页读DB（禁止多线程读DB），具体为
      • lock，redis get table:currMaxId
      • db数据返回之后，redis set table:currMaxId，unlock
      • 将返回的数据交给线程池处理
      • 进行下一波读取

数据通道

拟采用Kafka做通道中转，支持：

  • 针对ES索引创建Topic
  • ES相关Topic拟采用统一前缀，如 es-sync-索引名
  • kafka消费者拟采用正则表达式来订阅Topic，如es-sync-*
  • Topic分区数一次性设足，如12个，方便未来轻松增加消费者节点

ES适配器

拟采用自研组件，实现：

  • 消费Kafka中ES相关Topic，订阅正则表达式es-sync-*
  • ES中主键必须为业务数据的唯一标识
  • 写入ES前对比Id+updateTime，判断 丢弃、更新、新增；
  • 可灵活扩展节点数

ES存储

应该遵守：

  • 只存储必要字段，包括：
    • 业务唯一标识（Id）
    • 列表显示字段
    • 查询条件字段
    • update_time
  • 只做简单查询，不做复杂嵌套查询
    • 写入ES的数据应该是从DB表中Join之后的结果

相关推荐