深入了解Kafka【三】数据可靠性分析

深渊向深渊呼唤

深入了解Kafka【三】数据可靠性分析


1、多副本数据同步策略

为了保障Prosucer发送的消息能可靠的发送到指定的Topic,Topic的每个Partition收到消息后,要向Producer发送ACK,如果Produser收到ACK,就会进行下一轮发送,否则重试。

深入了解Kafka【三】数据可靠性分析

1.1、多副本概述

为了提高消息的可靠性,Kafka每个Topic的partition都有N个副本(replica)。这N个副本中,其中一个replica是Leader,其他都是Follower。 Leader负责处理Partition的所有请求,Follower负责同步Leader的数据。 下图展示了Kafka集群中的4个Broker,Topic有3个Partition。

深入了解Kafka【三】数据可靠性分析

1.2、同步副本队列ISR

Partition什么时候才会发送ACK呢? 要确保全部的Follower与Leader同步完成之后,Leader才能发送ACK,这样才能保证Leader挂掉之后,在所有Follower中能选出新的Leader。 但是万一有一个Follower因为故障,迟迟不能和Leader同步,Leader就得等着它完成同步之后才能发送ACK,怎么决解呢? 这就引出了ISR(in-sync replica set)。 ISR在Leader中维护,也叫同步副本队列,就是leader 与leader保持同步的followers的集合。 当ISR中的Follower完成数据的同步之后,Leader就会给Producer发送ACK,如果Follower未在规定的时间同步数据,则将其踢出ISR。当Leader挂掉的时候,在ISR中选举出一个新的Leader。

1.3、Follower与Leader之间数据复制原理

在学习复制原理之前,先看两个概念:HW(HighWatermark)和LEO(LogEndOffset):

LEO指的是每个副本最后一个offset。 HW指的是所有副本中最小的LEO,Consumer能看到的partition的最后位置,即HW之前的数据才对Consumer可见。

如图: 深入了解Kafka【三】数据可靠性分析

Leader与Follower中,都会维护各自的HW,对于新消息的写入,Consumer并不能立即被消费,需要等待ISR中的Followers从Leader中复制完成。 下图说明了新消息写入Partition后的数据复制过程: 深入了解Kafka【三】数据可靠性分析

由图可知,Kafka的复制既不是同步也不是异步,其在可靠性和吞吐量上有很好的平衡。

3、ACK应答机制与Exaclty Once语义

当Producer向Leader发送数据的时候,可以通过Kafka提供的三种ACK应答机制,对数据的可靠性与延迟的要求做平衡。 通过配置request.required.acks实现。

3.1、0

Producer不等待Broker的ACK,这能保证最低的延迟,但是当Broker故障时,数据可能丢失,即可靠性最低。 体现了At Most Once语义,最多一次,数据只会发送一次,不保证数据会丢失。

3.2、1

Producer等待Broker中partition的Leader落盘成功后返回ACK。如果在Follower同步结束之前Leader故障,数据会丢失。

3.3、-1

Producer等待Partition的Leader和Follower全部落盘成功后返回ACK。如果在数据同步完成后,发送ACK之前Leader故障,Producer会重新发送消息,造成数据重复。 这体现了At Least Once语义,至少一次,可以保证数据不会丢失,但是不保证数据重复。

3.4、Exactly Once恰好一次

At Least Once 幂等性 = Exactly Once。 Kafka中幂等性是通过Broker初始化时分配的PID来保证。发往同一Partition的消息会附带Sequence Number(SN),而Broker会对(PID,Partition,SN)做缓存,当相同主键的消息提交时,Broker只会持久化一条。 但是PID重启后就会变化,不同的Partition也具有不同的主键,所以幂等性无法保证跨分区会话的Exactly Once。

4、副本故障处理

4.1、Follower故障

Follower故障后会被临时踢出ISR,当Follower恢复后,Follower会读取本地磁盘记录的上次的HW,并将log文件高于HW的部分截取掉,从HW开始向Leader同步。等该Follower的LEO大于等于该partition的HW,即Follower追上Leader之后,就会被重新加入ISR。

4.2、Leader故障

Leader发生故障,会从ISR中选举出一个新的Leader,其余的Follower会先将各自的log文件高于各自HW的部分截取掉,之后从新的Leader同步数据。

5、Leader选举

kafka会在Zookeeper中为每个partition动态的维护着ISR,当Leader挂掉后,会从ISR中顺序选择一个Follower作为主。 如果碰巧ISR中Follower全部挂掉,那么有两种选择:

等待ISR中任意Follower恢复,选定其为Leader。 选择第一个恢复的Follower作为Leader,这个Follower不一定在ISR中。

怎么选择就要在可用性与一致性之间做权衡了。

栏目