Elasticsearch配置
Elasticsearch初配置
一、Elasticsearch配置
下载去官方下载就行:https://www.elastic.co/cn/products/elasticsearch
我使用的是6.5.0版本的(注意:elastic的版本要一致)
1.elasticsearch配置
进入elastic配置文件elasticsearch-6.5.0\config\elasticsearch.yml
注解一些基础的注释:
cluster.name: elasticsearch
node.name: node-1
path.data: /path/to/data
path.logs: /path/to/logs
network.host: 127.0.0.1
http.port: 9200
#允许一个节点是否可以成为一个master节点,es是默认集群中的第一台机器为master,如果这台机器停止就会重新选举master.
node.master: true
#允许该节点存储数据(默认开启)
node.data: true
###################### 使用head等插件监控集群信息,需要打开以下配置项 ###########
http.cors.enabled: true
http.cors.allow-origin: “*”
注解的详细配置可去:https://www.cnblogs.com/xiaochina/p/6855591.html参考
2、安装elasticsearch-head-master插件(和elastic版本一样)
1、下载node.js地址:https://nodejs.org/en/download/ 下载相应系统的msi安装
安装完成cmd输入:node -v查看版本
2、下载grunt cmd执行:npm install -g grunt-cli
安装完成cmd输入:grunt -version 查看版本
3、elasticsearch-head下载地址 :https://github.com/mobz/elasticsearch-head
下载完解压到 elasticsearch-6.5.0\elasticsearch-head-master文件下
修改elasticsearch-head-master的配置文件Gruntfile.js
connect: { server: { options: { hostname:'*', port: 9100, base: '.', keepalive: true } } }
最后在elasticsearch-6.5.0\elasticsearch-head-master下执行:
grunt server 或者npm run start 运行head插件运行失败重新安装grunt
到elasticsearch-6.5.0文件下Shift + 鼠标右键选择运行程序窗口 输入命令
\bin\elasticsearch.bat
进入localhost:9200是否运行成功
二、kibana配置
官方下载地址:https://www.elastic.co/cn/products/kibana
我下载时是6.5.0版本
kibana配置文件kibana-6.5.0-windows-x86_64\config注解注释
server.host: “127.0.0.1”
server.port: 5601
elasticsearch.url: “http://127.0.0.1:9200”
到kibana-6.5.0-windows-x86_64文件下Shift + 鼠标右键选择运行程序窗口 输入命令
\bin\kibana.bat
进入localhost:5601是否运行成功
三、logstash配置
官方下载地址:https://www.elastic.co/cn/products/logstash
我的是6.5.0版本
1、logstash配置
logstash配置文件logstash-6.5.0\config
#名称取你自己的就行
node.name: index
http.host: “127.0.0.1”
2、Gemfile配置
Gemfile配置文件logstash-6.5.0\Gemfile
修改source “https://gems.ruby-china.org”
3、安装logstash-input-jdbc
到logstash-6.5.0文件下Shift + 鼠标右键选择运行程序窗口 输入命令
bin/logstash-plugin install logstash-input-jdbc
如果执行失败在执行
logstash-plugin install --no-verify logstash-input-jdbc
4、配置logstash.conf
把mysql-connector-java-5.1.46.jar(我用的5.1.46的版本)放到logstash-6.5.0\bin下
创建一个logstash.conf文件内容如下:
input {
stdin {
}
jdbc {
#数据库地址
jdbc_connection_string => “jdbc:mysql://127.0.0.1:3306/ximu-trade”
#数据库账号
jdbc_user => “root”
#数据库密码
jdbc_password => “123456”
#mysql-connector-java路径(我的版本用的5.1.46)
jdbc_driver_library => “C:/Idea/elastic/logstash-6.5.0/bin/mysql-connector-java-5.1.46.jar”
jdbc_driver_class => “com.mysql.jdbc.Driver”
jdbc_paging_enabled => “true”
jdbc_page_size => “50000”
#以下对应着要执行的sql语句(以(t_sku.update_time)为条件大于上一次时间( :sql_last_value)就同步数据库)用于同步数据库的执行条件
statement => “select * from t_sku where t_sku.update_time > :sql_last_value”
#定时字段 各字段含义(由左至右)分、时、天、月、年,全部为默认含义为每分钟都更新(测试结果,不同的话请留言指出)
schedule => " * * * *"
#设定ES索引类型
type => “trade_type”
}
}
filter {
json {
source => “message”
remove_field => [“message”]
}
}
output {
elasticsearch {
#ESIP地址与端口
hosts => “127.0.0.1:9200”
#ES索引名称(自己定义的,也是kibana执行检索的索引)
index => “trade”
#自增ID编号
document_id => “%{id}”
}
stdout {
#以JSON格式输出
codec => json_lines
}
}
到logstash-6.5.0\bin文件下Shift + 鼠标右键选择运行程序窗口 输入命令
logstash.bat logstash.conf
运行成功会打印数据库的数据(时间可能会久一点)
四、kibana的操作
localhost:5601进入kibana操作界面
1、先查看logstash日志是否同步数据库,索引是否创建成功
到Discoverdd查看索引
进入Dev tools搜索
Elasticsearch配置完成
谢谢大家的支持!一起学习!