kafka 零拷贝

零拷贝

消费者从kafka服务器获取消息时,服务器先从磁盘读取数据到内存,再将内存的数据通过socket发送给消费者。看似简单的操作实际上有很多步骤。

一次交互的步骤

kafka 零拷贝

▪ 操作系统将数据从磁盘读入到内核空间的页缓存。
▪ 应用程序将数据从内核空间读入到用户空间缓存中。
▪ 应用程序将数据写回到内核空间到 socket 缓存中。
▪ 操作系统将数据从 socket 缓冲区复制到网卡缓冲区,以便将数据经网络发出。

整个过程4次上下文切换及4次数据复制,其中CPU复制了两次。

零拷贝的优势

将磁盘数据复制到页面缓存中,最后将页面缓存的数据发送到网络中。

发送给不同订阅者时,可以使用同一个页面的缓存,避免了大量复制操作。
如果有10个消费者,传统方式下,数据复制次数4*10=40次。但零拷贝下,数据复制次数1+10=11次。
1:从磁盘复制到页面缓存
10:10个消费者个读了一次页面缓存