云计算 Logstash 配置管理 Kibana数据统计分析

日志分析系统ELK

项目架构图

Logstash 是一个开源的、服务器端的数据收集引擎，与 Elasticsearch 和 Kibana 一起构成了 Elastic Stack（之前称为 ELK Stack）。Logstash 的主要功能是处理和转发数据，它可以从多种数据源收集数据，经过过滤和转换，然后将数据发送到 Elasticsearch 进行索引和存储，最后通过 Kibana 进行数据可视化。

安装 logstash

dnf install -y logstash     安装
ln -s /etc/logstash /usr/share/logstash/config  创建软链接

/usr/share/logstash/bin/logstash-plugin list   查询logstash安装的插件

• 插件手册地址:[Logstash Reference [8.14] | Elastic]

input 模块

file 插件

filter 模块

grok 插件

正则表达式分组匹配格式: (?<名字>正则表达式)

正则表达式宏调用格式: %{宏名称:名字}

宏文件路径 : /usr/share/logstash/vendor/bundle/jruby/2.5.0/gems/logstash-patterns-core-4.3.4/patterns

output 模块

elasticsearch 插件

Web 日志实时分析

beats 插件

filebeat 安装配置

多日志标签

添加标签

匹配标签

数据调试成功以后，可以把 logstash 作为后台服务运行

批量安装部署filebeat

验证日志收集

kibana 安装部署

负载均行上监听5601       Elastic