Elasticsearch配置

一、Elasticsearch配置

下载去官方下载就行:https://www.elastic.co/cn/products/elasticsearch
我使用的是6.5.0版本的(注意:elastic的版本要一致)

1.elasticsearch配置

进入elastic配置文件elasticsearch-6.5.0\config\elasticsearch.yml
注解一些基础的注释:

cluster.name: elasticsearch
node.name: node-1
path.data: /path/to/data
path.logs: /path/to/logs
network.host: 127.0.0.1
http.port: 9200
#允许一个节点是否可以成为一个master节点,es是默认集群中的第一台机器为master,如果这台机器停止就会重新选举master.
node.master: true
#允许该节点存储数据(默认开启)
node.data: true
###################### 使用head等插件监控集群信息,需要打开以下配置项 ###########
http.cors.enabled: true
http.cors.allow-origin: “*”

注解的详细配置可去:https://www.cnblogs.com/xiaochina/p/6855591.html参考

2、安装elasticsearch-head-master插件(和elastic版本一样)

1、下载node.js地址:https://nodejs.org/en/download/ 下载相应系统的msi安装
安装完成cmd输入:node -v查看版本
2、下载grunt cmd执行:npm install -g grunt-cli
安装完成cmd输入:grunt -version 查看版本
3、elasticsearch-head下载地址 :https://github.com/mobz/elasticsearch-head
下载完解压到 elasticsearch-6.5.0\elasticsearch-head-master文件下
修改elasticsearch-head-master的配置文件Gruntfile.js

  connect: {
  	server: {
  		options: {
  			hostname:'*',
  			port: 9100,
  			base: '.',
  			keepalive: true
  		}
  	}
  }

最后在elasticsearch-6.5.0\elasticsearch-head-master下执行:

grunt server 或者npm run start 运行head插件运行失败重新安装grunt

到elasticsearch-6.5.0文件下Shift + 鼠标右键选择运行程序窗口 输入命令

\bin\elasticsearch.bat

进入localhost:9200是否运行成功

二、kibana配置

官方下载地址:https://www.elastic.co/cn/products/kibana
我下载时是6.5.0版本
kibana配置文件kibana-6.5.0-windows-x86_64\config注解注释

server.host: “127.0.0.1”
server.port: 5601
elasticsearch.url: “http://127.0.0.1:9200

到kibana-6.5.0-windows-x86_64文件下Shift + 鼠标右键选择运行程序窗口 输入命令

\bin\kibana.bat

进入localhost:5601是否运行成功

三、logstash配置

官方下载地址:https://www.elastic.co/cn/products/logstash
我的是6.5.0版本

1、logstash配置

logstash配置文件logstash-6.5.0\config

#名称取你自己的就行
node.name: index
http.host: “127.0.0.1”

2、Gemfile配置

Gemfile配置文件logstash-6.5.0\Gemfile

修改source “https://gems.ruby-china.org

3、安装logstash-input-jdbc

到logstash-6.5.0文件下Shift + 鼠标右键选择运行程序窗口 输入命令

bin/logstash-plugin install logstash-input-jdbc

如果执行失败在执行

logstash-plugin install --no-verify logstash-input-jdbc

4、配置logstash.conf

mysql-connector-java-5.1.46.jar(我用的5.1.46的版本)放到logstash-6.5.0\bin
创建一个logstash.conf文件内容如下:

input {
stdin {
}
jdbc {
#数据库地址
jdbc_connection_string => “jdbc:mysql://127.0.0.1:3306/ximu-trade
#数据库账号
jdbc_user => “root”
#数据库密码
jdbc_password => “123456”
#mysql-connector-java路径(我的版本用的5.1.46)
jdbc_driver_library => “C:/Idea/elastic/logstash-6.5.0/bin/mysql-connector-java-5.1.46.jar”
jdbc_driver_class => “com.mysql.jdbc.Driver”
jdbc_paging_enabled => “true”
jdbc_page_size => “50000”
#以下对应着要执行的sql语句(以(t_sku.update_time)为条件大于上一次时间( :sql_last_value)就同步数据库)用于同步数据库的执行条件
statement => “select * from t_sku where t_sku.update_time > :sql_last_value
#定时字段 各字段含义(由左至右)分、时、天、月、年,全部为默认含义为每分钟都更新(测试结果,不同的话请留言指出)
schedule => "
* * * *"
#设定ES索引类型
type => “trade_type”
}
}
filter {
json {
source => “message”
remove_field => [“message”]
}
}
output {
elasticsearch {
#ESIP地址与端口
hosts => “127.0.0.1:9200”
#ES索引名称(自己定义的,也是kibana执行检索的索引)
index => “trade
#自增ID编号
document_id => “%{id}”
}
stdout {
#以JSON格式输出
codec => json_lines
}
}

logstash-6.5.0\bin文件下Shift + 鼠标右键选择运行程序窗口 输入命令

logstash.bat logstash.conf

运行成功会打印数据库的数据(时间可能会久一点)

四、kibana的操作

localhost:5601进入kibana操作界面
1、先查看logstash日志是否同步数据库,索引是否创建成功

到Discoverdd查看索引Elasticsearch配置
进入Dev tools搜索Elasticsearch配置
Elasticsearch配置完成


谢谢大家的支持!一起学习!