ELK日志系统安装启动过程中碰到的问题总结

方案一

方案二

ELK个人总结
1、Elasticsearch是一个基于JSON的分布式搜索和分析引擎，专为水平可扩展性，最高可靠性和易管理性而设计。
2、Logstash是一个动态数据收集管道，具有可扩展的插件生态系统和强大的Elasticsearch协同作用，Logstash对内存、cpu、io等资源 消耗比较高
3、Kibana通过UI 提供数据可视化。
1、安装elasticsearch版本7.0.0
Elasticsearch是一个基于Lucene构建的开源、分布式、RESTful的搜索引擎，能够实现近实时（NRT）搜索，稳定、可靠、安装方 便。Elasticsearch 不仅是一种全文索引技术，也是一种面向文档型NOSQL数据库。一个采用Restful API标准的高扩展性和高可用 性的实时数据分析的全文搜索工具。
ES存储中是按照：索引index->类型type->文档document->字段field 级别层次划分的．
ES集群可以包含多个索引，每个索引可以包含多个类型，每个类型可以包含多个文档，每个文档可以包含多个字段
1.1、elasticsearch不能使用root用户启动问题解决
首先创建一个新用户，用他来启动elasticsearch，为了安全不允许使用root用户启动，es5之后的都不能使用添加启动参数或者修改 配置文件等方法启动了，必须要创建用户。
1.2:Elasticsaerch启动报错：Exception in thread “main” java.nio.file.AccessDeniedException:
错误原因：使用非 root用户启动ES，而该用户的文件权限不足而被拒绝执行。
解决方法： sudo chown -R 用户名:用户名 文件（目录）名
但这里新建的用户无法使用sudo命令要如下操作上面的命令才能正常执行
解决方法：
一、 切换到root用户
终端中执行 su 命令，然后输入密码，从普通用户切换为根用户
二、为sudoers配置文件添加写权限
sudoers文件位于 /etc 目录下，其为系统配置sudo用户的一个只读配置文件。在root身份下执行 chmod +w /etc/sudoers 命令为该文件添 加写权限。
三、编辑sudoers配置文件
执行 vi /etc/sudoers 命令对配置文件进行编辑。在文件中先找到
Allows people in group wheel to run all commands
这段配置，然后在配置下方新起一行添加所需要增加 sudo权限的用户，格式如下
新用户名 ALL=(ALL) ALL
四、退出保存
编辑完配置文件保存退出后，使用 su 普通用户名 切换回普通用户重新执行sudo命令成功解决问题。
再用新用户启动ES就正常了
1.3、解决启动elasticsearch后外部浏览器无法通过ip:9200访问到
1、修改elasticsearch.yml文件
# 增加
network.host: 0.0.0.0
取消注释保留一个节点
cluster.initial_master_nodes: [“node-1”]
添加
bootstrap.memory_lock: false
bootstrap.system_call_filter: false
2、切换到root用户修改
vi /etc/security/limits.conf
添加
* soft nofile 65536
* hard nofile 131072
* soft nproc 4096
* hard nproc 4096
3、vi /etc/sysctl.conf
添加
vm.max_map_count=655360
保存后执行
sysctl -p
重启es后，再次通过ip:9200访问成功
./bin/elasticsearch是前台启动，如果想后台启动可以使用-d参数: ./bin/elasticsearch -d
1.4、安装ik分词器
Elasticsearch是不支持中文分词的，ik分词器支持中文
下载和elasticsearch版本一样的分词器，解压后放到elasticsearch的plugins当中
下载地址：https://github.com/medcl/elasticsearch-analysis-ik/releases/download/v7.0.0/elasticsearch-analysis-ik-7.0.0.zip修改版本就可以直接 下载
2、安装kibana版本7.0.0
2.1、无法通过ip:5601访问解决
vi config/kibana.yml
修改server.host: “0.0.0.0” 就可以了
2.2、安装x-pack
x-pack是elasticsearch的一个扩展包，将安全，警告，监视，图形和报告功能捆绑在一个易于安装的软件包中
2.3、如何关闭服务：通过ps -ef|grep node，找到对应pid，再kill
2.4、启动服务 nohup ./kibana >/dev/null 2>&1 & ，这种方式不产生nohup.out日志
3、logstash
安装后后台启动：nohup bin/logstash -f config/logstash-sample.conf >/dev/null 2>&1 &
4、filebeat安装
启动 nohup ./filebeat >/dev/null 2>&1 &
5、kfaka

方案一启动顺序，elasticsearch、logstash、filebeat、kibana 依次启动