rocketMQ(九) rocketMQ 高性能分析之ZeroCopy零拷贝技术

高效原因

  1. CommitLog顺序写, 存储了MessagBody、message key、tag等信息
  2. ConsumeQueue随机读 + 操作系统的PageCache + 零拷贝技术ZeroCopy
    2.1 零拷贝技术
read(file, tmp_buf, len);
write(socket, tmp_buf, len);

例子:将一个File读取并发送出去(Linux有两个上下文,内核态,用户态)

  1. File文件的经历了4次copy
  1. 调用read,将文件拷贝到了kernel内核态
  2. CPU控制 kernel态的数据copy到用户态
  3. 调用write时,user态下的内容会copy到内核态的socket的buffer中
  4. 最后将内核态socket buffer的数据copy到网卡设备中传送
  1. 缺点:增加了上下文切换、浪费了2次无效拷贝(即步骤2和3)

2.2 ZeroCopy

请求kernel直接把disk的data传输给socket,而不是通过应用程序传输。Zero copy大大提高了应用程序的性能,减少不必要的内核缓冲区跟用户缓冲区间的拷贝,从而减少CPU的开销和减少了kernel和user模式的上下文切换,达到性能的提升
对应零拷贝技术有mmap及sendfile
2.2.1 mmap:小文件传输快
RocketMQ 选择这种方式,mmap+write 方式,小块数据传输,效果会比 sendfile 更好
2.2.2 sendfile:大文件传输比mmap快

2.3 Java中的TransferTo()实现了Zero-Copy
2.4 应用:Kafka、Netty、RocketMQ等都采用了零拷贝技术

相关推荐