Kafka如何做到那么高的性能
有人说：他曾在一台配置较好的机子上对 kafka 进行性能压测，压测结果是 kafka 单个节点的极限处理能力接近每秒 2000万 条消息，吞吐量达到每秒 600mb。
那 kafka 为什么这么快？如何做到这个高的性能？
本篇文章主要从这 3 个角度来分析：
生产端
服务端 broker
消费端
先来看下生产端发送消息，kafka 做了哪些优化？
（1）生产端 producer
partition写入与消费
先来回顾下 producer 生产者发送消息的流程：
首先指定消息发送到哪个 topic。
选择一个 topic 的分区 partitiion，默认是轮询来负载均衡。
也可以指定一个分区 key，根据 key 的 hash 值来分发到指定的分区。
也可以自定义 partition 来实现分区策略。
找到这个分区的 leader partition。
与所在机器的 broker 的 socket 建立通信。
发送 kafka 自定义协议格式的请求（包含携带的消息、批量消息）。
将思绪集中在消息发送时候，可发现这两个华点：批量消息和自定义协议格式。
批量发送：减少了与服务端 broker 处理请求的次数，从而提升总体的处理能力。
调用 send() 方法时，不会立刻把消息发送出去，而是缓存起来，选择恰当时机把缓存里的消息划分成一批数据，按批次发送给服务端 broker。
自定义协议格式：序列化方式和压缩格式都能减少数据体积，从而节省网络资源消耗。
各种压缩算法对比：
吞吐量方面：lz4 > snappy > zstd 和 gzip
压缩比方面：zstd > lz4 > gzip > snappy
（2）服务端 broker
broker 的高性能主要从这 3 个方面体现：
pagecache 缓存
kafka 的文件布局 以及 磁盘文件顺序写入
零拷贝 sendfile：加速消费流程
下面展开讲讲。
1）pagecache 加速消息读写
使用 pagecache 主要能带来如下好处：
写入文件的时候：操作系统会先把数据写入到内存中的 pagecache，然后再一批一批地写到磁盘上，从而减少磁盘 io 开销。
数据写入
读取文件的时候：也是从 pagecache 中来读取数据。
如果消息刚刚写入到服务端就会被消费，按照 lru 的“优先清除最近最少使用的页”这种策略，读取的时候，对于这种刚刚写入的 pagecache，命中的几率会非常高。
2）kafka 的文件布局 以及 磁盘文件顺序写入
文件布局如下图所示：
主要特征是：文件的组织方式是“topic + 分区”，每一个 topic 可以创建多个分区，每一个分区包含单独的文件夹。
kafka 在分区级别实现文件顺序写：即多个文件同时写入，更能发挥磁盘 io 的性能。
相对比 rocketmq： rocketmq 在消息写入时追求极致的顺序写，所有的消息不分主题一律顺序写入 commitlog 文件， topic 和 分区数量的增加不会影响写入顺序。
弊端： kafka 在消息写入时的 io 性能，会随着 topic 、分区数量的增长先上升，后下降。
所以使用 kafka 时，要警惕 topic 和 分区数量。
3）零拷贝 sendfile：加速消费流程
当不使用零拷贝技术读取数据时：
数据读取
流程如下：
消费端 consumer：向 kafka broker 请求拉取消息
kafka broker 从 os cache 读取消息到 应用程序的内存空间：
若 os cache 中有消息，则直接读取
若 os cache 中无消息，则从磁盘里读取
再通过网卡，socket 将数据发送给 消费端consumer
当使用零拷贝技术读取数据：
数据读取2
kafka 使用零拷贝技术可以把这个复制次数减少一次，直接从 pagecache 中把数据复制到 socket 缓冲区中。
这样不用将数据复制到用户内存空间。
dma 控制器直接完成数据复制，不需要 cpu 参与，速度更快。
（3）消费端 consumer
消费者只从 leader分区批量拉取消息。
为了提高消费速度，多个消费者并行消费比不可少。kafka 允许创建消费组(唯一标识 group.id)，在同一个消费组的消费者共同消费数据。
举个栗子：
有两个 kafka broker，即有 2个机子
有一个主题：topica，有 3 个分区(0, 1, 2)
如上图，举例 4 中情况：
group.id = 1，有一个消费者：这个消费者要处理所有数据，即 3 个分区的数据。
group.id = 2，有两个消费者：consumer 1消费者需处理 2个分区的数据，consumer2 消费者需处理 1个分区的数据
group.id = 3，有三个消费者：消费者数量与分区数量相等，刚好每个消费者处理一个分区
group.id = 4，有四个消费者：消费者数量 > 分区数量，第四个消费者则会处于空闲状态
凯迪仕智能锁完成C轮6亿融资10亿综合授信，开启全球化战略新篇章
小成本、全天候、易部署的周界安防监控+防火系统
TE Connectivity热缩管解决方案：无惧严苛环境，可靠保护线束
OPPO稳居全球手机市场前三，国内占据首位
美国白宫正在考虑限制部分芯片制造商对华为供货
Kafka如何做到那么高的性能
中国移动又成立了新子公司
中国联通独家获批试水“一号双终端”
俄罗斯反病毒软件厂商Dr.Web发现了一种新型木马
网点分散难管理？组网是物流企业的正解！
基于树莓派的交互机器人设计
一个基于参数更新的迁移学习的统一框架
Linux 与 Unix的区别
朱立南出任联想控股总裁：柳传志最佳接班人吗
美能四探针电阻测试仪为您提供高效的产业化测量技术
上海地铁松江新城站景观照明工程即将完成
工业应用的自然语言理解和结构化知识
基于双核Arm Cortex M0+RP2040硬件开发
钙钛矿太阳能电池技术在稳定性方面实现了突破
【科普】什么是晶圆级封装
那 kafka 为什么这么快？如何做到这个高的性能？
本篇文章主要从这 3 个角度来分析：
生产端
服务端 broker
消费端
先来看下生产端发送消息，kafka 做了哪些优化？
（1）生产端 producer
partition写入与消费
先来回顾下 producer 生产者发送消息的流程：
首先指定消息发送到哪个 topic。
选择一个 topic 的分区 partitiion，默认是轮询来负载均衡。
也可以指定一个分区 key，根据 key 的 hash 值来分发到指定的分区。
也可以自定义 partition 来实现分区策略。
找到这个分区的 leader partition。
与所在机器的 broker 的 socket 建立通信。
发送 kafka 自定义协议格式的请求（包含携带的消息、批量消息）。
将思绪集中在消息发送时候，可发现这两个华点：批量消息和自定义协议格式。
批量发送：减少了与服务端 broker 处理请求的次数，从而提升总体的处理能力。
调用 send() 方法时，不会立刻把消息发送出去，而是缓存起来，选择恰当时机把缓存里的消息划分成一批数据，按批次发送给服务端 broker。
自定义协议格式：序列化方式和压缩格式都能减少数据体积，从而节省网络资源消耗。
各种压缩算法对比：
吞吐量方面：lz4 > snappy > zstd 和 gzip
压缩比方面：zstd > lz4 > gzip > snappy
（2）服务端 broker
broker 的高性能主要从这 3 个方面体现：
pagecache 缓存
kafka 的文件布局 以及 磁盘文件顺序写入
零拷贝 sendfile：加速消费流程
下面展开讲讲。
1）pagecache 加速消息读写
使用 pagecache 主要能带来如下好处：
写入文件的时候：操作系统会先把数据写入到内存中的 pagecache，然后再一批一批地写到磁盘上，从而减少磁盘 io 开销。
数据写入
读取文件的时候：也是从 pagecache 中来读取数据。
如果消息刚刚写入到服务端就会被消费，按照 lru 的“优先清除最近最少使用的页”这种策略，读取的时候，对于这种刚刚写入的 pagecache，命中的几率会非常高。
2）kafka 的文件布局 以及 磁盘文件顺序写入
文件布局如下图所示：
主要特征是：文件的组织方式是“topic + 分区”，每一个 topic 可以创建多个分区，每一个分区包含单独的文件夹。
kafka 在分区级别实现文件顺序写：即多个文件同时写入，更能发挥磁盘 io 的性能。
相对比 rocketmq： rocketmq 在消息写入时追求极致的顺序写，所有的消息不分主题一律顺序写入 commitlog 文件， topic 和 分区数量的增加不会影响写入顺序。
弊端： kafka 在消息写入时的 io 性能，会随着 topic 、分区数量的增长先上升，后下降。
所以使用 kafka 时，要警惕 topic 和 分区数量。
3）零拷贝 sendfile：加速消费流程
当不使用零拷贝技术读取数据时：
数据读取
流程如下：
消费端 consumer：向 kafka broker 请求拉取消息
kafka broker 从 os cache 读取消息到 应用程序的内存空间：
若 os cache 中有消息，则直接读取
若 os cache 中无消息，则从磁盘里读取
再通过网卡，socket 将数据发送给 消费端consumer
当使用零拷贝技术读取数据：
数据读取2
kafka 使用零拷贝技术可以把这个复制次数减少一次，直接从 pagecache 中把数据复制到 socket 缓冲区中。
这样不用将数据复制到用户内存空间。
dma 控制器直接完成数据复制，不需要 cpu 参与，速度更快。
（3）消费端 consumer
消费者只从 leader分区批量拉取消息。
为了提高消费速度，多个消费者并行消费比不可少。kafka 允许创建消费组(唯一标识 group.id)，在同一个消费组的消费者共同消费数据。
举个栗子：
有两个 kafka broker，即有 2个机子
有一个主题：topica，有 3 个分区(0, 1, 2)
如上图，举例 4 中情况：
group.id = 1，有一个消费者：这个消费者要处理所有数据，即 3 个分区的数据。
group.id = 2，有两个消费者：consumer 1消费者需处理 2个分区的数据，consumer2 消费者需处理 1个分区的数据
group.id = 3，有三个消费者：消费者数量与分区数量相等，刚好每个消费者处理一个分区
group.id = 4，有四个消费者：消费者数量 > 分区数量，第四个消费者则会处于空闲状态
凯迪仕智能锁完成C轮6亿融资10亿综合授信，开启全球化战略新篇章
小成本、全天候、易部署的周界安防监控+防火系统
TE Connectivity热缩管解决方案：无惧严苛环境，可靠保护线束
OPPO稳居全球手机市场前三，国内占据首位
美国白宫正在考虑限制部分芯片制造商对华为供货
Kafka如何做到那么高的性能
中国移动又成立了新子公司
中国联通独家获批试水“一号双终端”
俄罗斯反病毒软件厂商Dr.Web发现了一种新型木马
网点分散难管理？组网是物流企业的正解！
基于树莓派的交互机器人设计
一个基于参数更新的迁移学习的统一框架
Linux 与 Unix的区别
朱立南出任联想控股总裁：柳传志最佳接班人吗
美能四探针电阻测试仪为您提供高效的产业化测量技术
上海地铁松江新城站景观照明工程即将完成
工业应用的自然语言理解和结构化知识
基于双核Arm Cortex M0+RP2040硬件开发
钙钛矿太阳能电池技术在稳定性方面实现了突破
【科普】什么是晶圆级封装