一，Kafka集群
一个典型的 Kafka 体系架构包括若Producer、Broker、Consumer，以及一个ZooKeeper集群，如图所示。
-
ZooKeeper：Kafka负责集群元数据的管理、控制器的选举等操作的；
-
Producer：将消息发送到Broker；
-
Broker：服务代理节点，负责将收到的消息存储到磁盘中。Broker可以简单地看作一个独立的Kafka服务节点或Kafka服务实例，一个或多个Broker组成了一个Kafka集群。
-
Consumer：负责从Broker订阅并消费消息；
二，主题（Topic）与分区（Partition）
-
消息根据Topic归类，生产者将消息发送到特定的Topic，而消费者订阅Topic并进行消费。
-
一个Topic可以有多个Partition，Partition是一个可追加的日志文件，消息在被追加到分区日志都会分配一个特定的偏移量（offset）。
-
Kafka通过offset来保证消息在分区内的顺序性，不过offset并不跨越分区，也就是说， Kafka保证的是分区有序而不是Topic有序。
-
分区可以分布在不同的broker上，也就是说， 一个Topic可以横跨多个broker。
-
Consumer使用Pull模式从服务端拉取消息，并且 保存消费的offset，当消费者宕机后恢复时可以根据offset重新拉取，这样就不会造成消息丢失。
1，Replica机制
分区引入了多副本（Replica）机制，通过增加副本数量可以提升容灾能力。
副本一主多从，其中leader副本负责处理
读写请求（
生产者和消费者只与leader交互
），follower副本只负责与leader副本的消息同步。
2，
AR = ISR + OSR
AR：分区中的所有的副本
ISR：与leader保持一定程度（可配置）同步的副本（包括leader在内）
OSR：与leader同步滞后过多的副本
正常情况下，所有的 follower 副本都应该与 leader 副本保持一定程度的同步，即 AR=ISR，OSR集合为空。
-
leader负责维护和跟踪所有follower的滞后状态，并把follower在ISR和OSR中移动；
-
默认下，当leader发生故障时，只有在ISR中的副本才有资格被选举为新的leader（可通过配置改变）
3，HW和LEO
这是两个特定的偏移量。
HW：High Watermark的缩写，俗称高水位。消费者只能拉取到这个HW之前的消息；
LEO：Log End Offset的缩写，标识下一条待写入消息的offset；
注意：这俩都有个+1的关系；
ISR集合中的每个副本都会维护自身的LEO，而ISR集合中最小的LEO即为分区的HW，对消费者而言只能消费HW之前的消息。
举例说明：
4，Kafka的复制机制
Kafka 的复制机制既不是完全的同步复制（所有能工作的 follower都复制完），也不是单纯的异步复制（只要写入leaderr则成功提交）。Kafka使用的这种ISR机制有效地权衡了数据可靠性和性能的关系。
本站资源均来自互联网，仅供研究学习，禁止违法使用和商用，产生法律纠纷本站概不负责！如果侵犯了您的权益请与我们联系！
转载请注明出处： 免费源码网-免费的源码资源网站 » Kafka（一）基础介绍
发表评论 取消回复