topic分区管理

preferred leader选举

在一个 Kafka集群中, broker服务器宕机或崩溃是不可避免的。一旦发生这种情况,该broker上的那些 leader副本将变为不可用,因此就必然要求Kaka把这些分区的 leader转移到其他的 broker上。即使崩溃 broker重启回来,其上的副本也只能作为 follower副本加入ISR。

broker简介

broker是Apache Kafka最重要的组件,本质上它是一个功能载体(或服务载体),承载了绝大多数的Kaka服务。事实上,大多数的消息队列框架都有 broker或与之类似的角色。一个broker通常是以服务器的形式出现的,对用户而言, broker的主要功能就是持久化消息以及将消息队列中的消息从发送端传输到消费端。

消费者类型

• 独立消费者：单独消费，精确控制消费
• 消费者组：通过一个或多个消费者，对topic进行消费

基本数据结构

ProducerRecord(0.10.2.1)

一个 Producer record封装了一条待发送的消息(或称为记录)。我们以0.10.2.1版本的消息格式进行 producer的说明。
ProducerRecord由5个字段构成,它们分别如下:

• topic:该消息所属的 topic
• partition:该消息所属的分区。
• key:消息key
• value:消息体
• timestamp:消息时间戳。

Record Metadata

Kafka服务器端返回给客户端的消息的元数据信息,包含如下内容：

• offset:消息在分区日志中的位移信息。
• timestamp:消息时间戳
• topic/partition:所属 topic的分区。
• checksum:消息CRC32码。
• serializedKeysize:序列化后的消息key字节数。
• serialized valueSize:序列化后的消息 value字节数。

基本概念

计算机网络

英特网协议栈

计算机网络五层网络模型：应用层、运输层、网络层、数据链路层、物理层。
七层ISO OSI参考模型：在应用层和运输层中多两层，表示层和会话层。

算法性能分析