windos版本下使用logstash进行同步mysql到es上 —记录贴

最近想要(是不得不)加一个搜索功能,最开始天真的我想要直接 select * from xxxx wehre xxx like'%%'加个模糊查询,但这无疑涉及到了全表扫描和一切其他不方便的事,然后决定使用es,这个也蛮多人用的,但实际上证明一个小搜索功能,目前用户就我一人,单机模式就现在windows下试试。

首先,你选择一个版本的es进行使用,我用的6.5.0,为了管理,你要下一个head辅助,为了查询更方便,你要下一个ik分词器,然后后台启动才能用,用到mysql,es,就要考虑一下他们的同步问题,你不能搜着搜着,数据变了,有的没了有的新加了,有的时候需要同步,有一些不同的产品,这里用的是logstash来做同步,当然有的人用它做日志分析统计等更多功能。

在启动logstash的过程中一个是遇到了读取不到配置文件的问题,logstash -f mysql.conf这个读的是bin下的,我看报错,之前放到config下,第一个这样解决了。

第二个是mysql的连接问题,ERROR 1045 (28000): Access denied for user 'root'@'localhost' (using password: YES)

这个本机装的是5.7的,然后我就找了一下C:\ProgramData\MySQL\MySQL Server 5.7(这个是隐藏文件下的ini文件)加一个:skip-grant-tables      就暂时管用了,重启一下就好了。

至少现在可以同步到索引了,这周把搜索功能做一下,到时候改改页面,再测试测试,加一个文本高亮等等。

windos版本下使用logstash进行同步mysql到es上 —记录贴