支持百万级TPS,Kafka是怎么做到的?( 三 )


发送文件还有一个好处就是可以对文件进行批量压缩 , 减少网络IO损耗 。
支持百万级TPS,Kafka是怎么做到的?文章插图
总结最后再总结一下 Kafka 支持百万级 TPS 的秘密:
(1)顺序写入数据 , 在 Partition 末尾追加 , 所以速度最优 。
(2)使用 MMAP 技术将磁盘文件与内存映射 , Kafka 可以像操作磁盘一样操作内存 。
(3)通过 DMA 技术实现零拷贝 , 减少数据传输次数 。
(4)读取数据时配合sendfile直接暴力输出 , 批量压缩把所有消息变成一个批量文件 , 合理减少网络IO损耗 。
推 荐
CSDN公众号全新搜索技能上线啦!
只要在公众号后台回复消息
就能自动回复想搜索的内容啦!
简直是程序员必备的搜索神器!
猜猜回复“Mysql安装”会出现什么
支持百万级TPS,Kafka是怎么做到的?文章插图
支持百万级TPS,Kafka是怎么做到的?文章插图