windows环境下Es同步mysql数据库数据
记录一下mysql数据库表数据同步到es中
一、logstash的安装
首先在官网上下载logstash:
logstash官方下载地址:https://www.elastic.co/cn/downloads/logstash 直接下载zip
需要注意的是logstash的版本必须是和你的Elasticsearch版本要一致,比如我使用的Elasticsearch是7.8,那么下载的就是logstash 7.8版本。
下载完成后解压
在解压目录下创建mysql文件夹,并新建jdbc配置文件和sql脚本文件
jdbc.conf 配置文件内容
这里说明一下,我这里配置的是多张分表数据同步到一个es索引。当然也可以配置不同的数据表同步到不同的索引,看下图
多表的同步到不同索引就是通过上图jdbc中的type,然后再output中进行if判断分别同步到对应的索引文档中
然后再cmd中执行下图命令,注意:es服务一定要开启
可以看到数据已经在同步,默认是每分钟同步,修改 添加新数据也会更新同步,删除不支持需要各自执行删除命令
再看下可视化界面数据
可以看到文档中已经有数据了