windows环境下Es同步mysql数据库数据

记录一下mysql数据库表数据同步到es中

 

一、logstash的安装
首先在官网上下载logstash:

logstash官方下载地址:https://www.elastic.co/cn/downloads/logstash 直接下载zip

需要注意的是logstash的版本必须是和你的Elasticsearch版本要一致,比如我使用的Elasticsearch是7.8,那么下载的就是logstash 7.8版本。

下载完成后解压
windows环境下Es同步mysql数据库数据

在解压目录下创建mysql文件夹,并新建jdbc配置文件和sql脚本文件

windows环境下Es同步mysql数据库数据

jdbc.conf 配置文件内容

windows环境下Es同步mysql数据库数据

这里说明一下,我这里配置的是多张分表数据同步到一个es索引。当然也可以配置不同的数据表同步到不同的索引,看下图

windows环境下Es同步mysql数据库数据

多表的同步到不同索引就是通过上图jdbc中的type,然后再output中进行if判断分别同步到对应的索引文档中

然后再cmd中执行下图命令,注意:es服务一定要开启

windows环境下Es同步mysql数据库数据

 

可以看到数据已经在同步,默认是每分钟同步,修改 添加新数据也会更新同步,删除不支持需要各自执行删除命令

windows环境下Es同步mysql数据库数据

再看下可视化界面数据

windows环境下Es同步mysql数据库数据可以看到文档中已经有数据了