rocketMQ(九) rocketMQ 高性能分析之ZeroCopy零拷贝技术
高效原因
- CommitLog顺序写, 存储了MessagBody、message key、tag等信息
- ConsumeQueue随机读 + 操作系统的PageCache + 零拷贝技术ZeroCopy
2.1 零拷贝技术
read(file, tmp_buf, len); write(socket, tmp_buf, len);
例子:将一个File读取并发送出去(Linux有两个上下文,内核态,用户态)
- File文件的经历了4次copy
- 调用read,将文件拷贝到了kernel内核态
- CPU控制 kernel态的数据copy到用户态
- 调用write时,user态下的内容会copy到内核态的socket的buffer中
- 最后将内核态socket buffer的数据copy到网卡设备中传送
- 缺点:增加了上下文切换、浪费了2次无效拷贝(即步骤2和3)
2.2 ZeroCopy
请求kernel直接把disk的data传输给socket,而不是通过应用程序传输。Zero copy大大提高了应用程序的性能,减少不必要的内核缓冲区跟用户缓冲区间的拷贝,从而减少CPU的开销和减少了kernel和user模式的上下文切换,达到性能的提升
对应零拷贝技术有mmap及sendfile
2.2.1 mmap:小文件传输快
RocketMQ 选择这种方式,mmap+write 方式,小块数据传输,效果会比 sendfile 更好
2.2.2 sendfile:大文件传输比mmap快
2.3 Java中的TransferTo()实现了Zero-Copy
2.4 应用:Kafka、Netty、RocketMQ等都采用了零拷贝技术
相关推荐
IT农场 2020-11-13
LCFlxfldy 2020-08-17
ljcsdn 2020-07-27
LCFlxfldy 2020-07-05
lypgcs 2020-06-27
陈晨软件五千言 2020-06-17
qingyuerji 2020-06-14
MojitoBlogs 2020-06-14
lypgcs 2020-06-14
陈晨软件五千言 2020-06-14
meilongwhpu 2020-06-13
陈晨软件五千言 2020-06-11
qingyuerji 2020-06-09
MojitoBlogs 2020-06-09
meilongwhpu 2020-06-08
meilongwhpu 2020-06-08
lypgcs 2020-06-07
MojitoBlogs 2020-06-04
meilongwhpu 2020-05-30