Kafka介绍及Go操作kafka详解

Kafka介绍及Go操作kafka详解

项目背景

每个业务系统都有日志，当系统出现问题时，需要通过日志信息来定位和解决问题。当系统机器比较少时，登陆到服务器上查看即可满足当系统机器规模巨大，登陆到机器上查看几乎不现实（分布式的系统，一个系统部署在十几台机器上）

解决方案

把机器上的日志实时收集，统一存储到中心系统。再对这些日志建立索引，通过搜索即可快速找到对应的日志记录。通过提供一个界面友好的web页面实现日志展示与检索。

面临的问题

实时日志量非常大，每天处理几十亿条。日志准实时收集，延迟控制在分钟级别。系统的架构设计能够支持水平扩展。

业界方案

ELK

• AppServer：跑业务的服务器
• Logstash Agent：
• Elastic Search Cluster
• Kibana Server：数据可视化
• Browser：浏览器

ELK方案的问题

• 运维成本高，每增加一个日志收集项，都需要手动修改配置
  • 使用etcd来管理被收集的日志项