建站
咨询
售后
建站咨询
ELK日志分析系统——(实战！)
简介
日志服务器
提高安全性
集中存放日志
缺陷：对日志的分析困难
创新互联专注于恩施土家网站建设服务及定制，我们拥有丰富的企业做网站经验。 热诚为您提供恩施土家营销型网站建设，恩施土家网站制作、恩施土家网页设计、恩施土家网站官网定制、成都小程序开发服务，打造恩施土家网络公司原创品牌,更为您提供恩施土家网站排名全网营销落地服务。
ELK日志分析系统
Elasticsearch：存储，索引池
Logstash：日志收集器
Kibana：数据可视化日志处理步骤
1，将日志进行集中化管理
2，将日志格式化（Logstash）并输出到Elasticsearch
3，对格式化后的数据进行索引和存储（Elasticsearch）
4，前端数据的展示（Kibana）Elasticsearch的概述
提供了一个分布式多用户能力的全文搜索引擎Elasticsearch的概念
接近实时
集群
节点
索引：索引(库)-->类型(表)-->文档(记录)
分片和副本Logstash介绍
一款强大的数据处理工具，可以实现数据传输、格式处理、格式化输出
数据输入、数据加工(如过滤，改写等)以及数据输出LogStash主要组件
Shipper
Indexer
Broker
Search and Storage
Web InterfaceKibana介绍
一个针对Elasticsearch的开源分析及可视化平台
搜索、查看存储在Elasticsearch索引中的数据
通过各种图表进行高级数据分析及展示Kibana主要功能
Elasticsearch无缝之集成
整合数据，复杂数据分析
让更多团队成员受益
接口灵活，分享更容易
配置简单，可视化多数据源
简单数据导出实验拓扑
实验环境
Apache服务器 192.168.13.128 （Logstash）
Node1服务器 192.168.13.129 （Elasticsearch，Kibana）
Node2服务器 192.168.13.130 （Elasticsearch）1，在node1，node2上安装elasticsearch
[root@node1 ~]# vim /etc/hosts ##配置解析名
192.168.13.129 node1
192.168.13.130 node2
[root@node1 ~]# java -version ##查看是否支持Java
[root@node1 ~]# mount.cifs //192.168.100.3/LNMP-C7 /mnt/
Password for root@//192.168.100.3/LNMP-C7:
[root@node1 mnt]# cd /mnt/elk/
[root@node1 elk]# rpm -ivh elasticsearch-5.5.0.rpm ##安装
[root@node1 elk]# systemctl daemon-reload ##重载守护进程
[root@node1 elk]# systemctl enable elasticsearch.service ##开机自启
[root@node1 elk]# cd /etc/elasticsearch/
[root@node1 elasticsearch]# cp elasticsearch.yml elasticsearch.yml.bak ##备份
[root@node1 elasticsearch]# vim elasticsearch.yml ##修改配置文件
cluster.name: my-elk-cluster ##集群名
node.name: node1 ##节点名，第二个节点为node2
path.data: /data/elk_data ##数据存放位置
path.logs: /var/log/elasticsearch/ ##日志存放位置
bootstrap.memory_lock: false ##不在启动时锁定内存
network.host: 0.0.0.0 ##提供服务绑定的IP地址，为所有地址
http.port: 9200 ##端口号为9200
discovery.zen.ping.unicast.hosts: ["node1", "node2"] ##集群发现通过单播实现
[root@node1 elasticsearch]# mkdir -p /data/elk_data ##创建数据存放点
[root@node1 elasticsearch]# chown elasticsearch.elasticsearch /data/elk_data/ ##给权限
[root@node1 elasticsearch]# systemctl start elasticsearch.service ##开启服务
[root@node1 elasticsearch]# netstat -ntap | grep 9200 ##查看开启情况
tcp6 0 0 :::9200 :::* LISTEN 2166/java
2，在浏览器上检查健康和状态
3，在node1，node2上安装node组件依赖包
[root@node1 elasticsearch]# yum install gcc gcc-c++ make -y ##安装编译工具
[root@node1 elasticsearch]# cd /mnt/elk/
[root@node1 elk]# tar zxvf node-v8.2.1.tar.gz -C /opt/ ##解压插件
[root@node1 elk]# cd /opt/node-v8.2.1/
[root@node1 node-v8.2.1]# ./configure ##配置
[root@node1 node-v8.2.1]# make && make install ##编译安装4，在node1，node2上安装phantomjs前端框架
[root@node1 elk]# tar jxvf phantomjs-2.1.1-linux-x86_64.tar.bz2 -C /usr/local/src/
##解压到/usr/local/src下
[root@node1 elk]# cd /usr/local/src/phantomjs-2.1.1-linux-x86_64/bin/
[root@node1 bin]# cp phantomjs /usr/local/bin/ ##编译系统识别5，在node1，node2上安装elasticsearch-head数据可视化
[root@node1 bin]# cd /mnt/elk/
[root@node1 elk]# tar zxvf elasticsearch-head.tar.gz -C /usr/local/src/ ##解压
[root@node1 elk]# cd /usr/local/src/elasticsearch-head/
[root@node1 elasticsearch-head]# npm install ##安装6，修改配置文件
[root@node1 elasticsearch-head]# vim /etc/elasticsearch/elasticsearch.yml
##末行加入
http.cors.enabled: true ##开启跨域访问支持，默认为false
http.cors.allow-origin: "*" ##跨域访问允许的域名地址
[root@node1 elasticsearch-head]# systemctl restart elasticsearch.service ##重启
[root@node1 elasticsearch-head]# cd /usr/local/src/elasticsearch-head/
[root@node1 elasticsearch-head]# npm run start & ##后台运行数据可视化服务
[1] 82515
[root@node1 elasticsearch-head]# netstat -ntap | grep 9100
tcp 0 0 0.0.0.0:9100 0.0.0.0:* LISTEN 82525/grunt
[root@node1 elasticsearch-head]# netstat -ntap | grep 9200
tcp6 0 0 :::9200 :::* LISTEN 82981/java 7，在浏览器上查看健康值状态
8，在node1上创建索引
[root@node2 ~]# curl -XPUT 'localhost:9200/index-demo/test/1?pretty&pretty' -H 'content-Type: application/json' -d '{"user":"zhangsan","mesg":"hello world"}'
##创建索引信息
9，在Apache服务器上安装logstash，多elasticsearch进行对接
[root@apache ~]# yum install httpd -y ##安装服务
[root@apache ~]# systemctl start httpd.service ##启动服务
[root@apache ~]# java -version
[root@apache ~]# mount.cifs //192.168.100.3/LNMP-C7 /mnt/ ##挂载
Password for root@//192.168.100.3/LNMP-C7:
[root@apache ~]# cd /mnt/elk/
[root@apache elk]# rpm -ivh logstash-5.5.1.rpm ##安装logstash
[root@apache elk]# systemctl start logstash.service
[root@apache elk]# systemctl enable logstash.service ##自启
[root@apache elk]# ln -s /usr/share/logstash/bin/logstash /usr/local/bin/ ##便于系统识别
[root@apache elk]# logstash -e 'input { stdin{} } output { stdout{} }' ##标准输入输出
The stdin plugin is now waiting for input:
16:58:11.145 [Api Webserver] INFO logstash.agent - Successfully started Logstash API endpoint {:port=>9600}
www.baidu.com ##输入
2019-12-19T08:58:35.707Z apache www.baidu.com
www.sina.com.cn ##输入
2019-12-19T08:58:42.092Z apache www.sina.com.cn
[root@apache elk]# logstash -e 'input { stdin{} } output { stdout{ codec=>rubydebug } }'
##使用rubydebug显示详细输出，codec为一种编解码器
The stdin plugin is now waiting for input:
17:03:08.226 [Api Webserver] INFO logstash.agent - Successfully started Logstash API endpoint {:port=>9600}
www.baidu.com ##格式化的处理
{
"@timestamp" => 2019-12-19T09:03:13.267Z,
"@version" => "1",
"host" => "apache",
"message" => "www.baidu.com"
}
[root@apache elk]# logstash -e 'input { stdin{} } output { elasticsearch { hosts=>["192.168.13.129:9200"] } }'
##使用logstach将信息写入elasticsearch中
The stdin plugin is now waiting for input:
17:06:46.846 [Api Webserver] INFO logstash.agent - Successfully started Logstash API endpoint {:port=>9600}
www.baidu.com ##输入信息
www.sina.com.cn10，用浏览器查看信息
##在数据浏览中可以查看信息
11，将系统日志文件输出到elasticsearch
[root@apache elk]# chmod o+r /var/log/messages ##给其他用户读权限
[root@apache elk]# vim /etc/logstash/conf.d/system.conf ##创建文件
input {
file{
path => "/var/log/messages" ##输出目录
type => "system"
start_position => "beginning"
}
}
output {
elasticsearch {
#输入地址指向node1节点
hosts => ["192.168.13.129:9200"]
index => "system-%{+YYYY.MM.dd}"
}
}
[root@apache elk]# systemctl restart logstash.service ##重启服务
##也可以用数据浏览查看详细信息
12，在node1服务器上安装kibana数据可视化
[root@node1 ~]# cd /mnt/elk/
[root@node1 elk]# rpm -ivh kibana-5.5.1-x86_64.rpm ##安装
[root@node1 elk]# cd /etc/kibana/
[root@node1 kibana]# cp kibana.yml kibana.yml.bak ##备份
[root@node1 kibana]# vim kibana.yml ##修改配置文件
server.port: 5601 ##端口号
server.host: "0.0.0.0" ##监听任意网段
elasticsearch.url: "http://192.168.13.129:9200" ##本机节点地址
kibana.index: ".kibana" ##索引名称
[root@node1 kibana]# systemctl start kibana.service ##开启服务
[root@node1 kibana]# systemctl enable kibana.service 13，浏览器访问kibana
14，在apache服务器中对接apache日志文件，进行统计
[root@apache elk]# vim /etc/logstash/conf.d/apache_log.conf ##创建配置文件
input {
file{
path => "/etc/httpd/logs/access_log" ##输入信息
type => "access"
start_position => "beginning"
}
file{
path => "/etc/httpd/logs/error_log"
type => "error"
start_position => "beginning"
}
}
output {
if [type] == "access" { ##根据条件判断输出信息
elasticsearch {
hosts => ["192.168.13.129:9200"]
index => "apache_access-%{+YYYY.MM.dd}"
}
}
if [type] == "error" {
elasticsearch {
hosts => ["192.168.13.129:9200"]
index => "apache_error-%{+YYYY.MM.dd}"
}
}
}
[root@apache elk]# logstash -f /etc/logstash/conf.d/apache_log.conf
##根据配置文件配置logstach15，访问网页信息，查看kibana统计情况
##选择management>Index Patterns>create index patterns
##创建apache两个日志的信息
谢谢阅读！
本文名称：ELK日志分析系统——(实战！)
转载注明：http://www.scyingshan.cn/article/ijogdi.html
