「攻城狮Bilbo」Kafka为什么会这么快( 二 )
上面从读写两个角度分析了为什么kafka吞吐量高 , 其实还有一个重要的原因 。 批量数据压缩
kafka不会对每个消息都做压缩 , 而是对一批消息压缩 , 然后将数据统一发送 。 将所有的消息变为一个批量文件 , 然后直接丢给消费者 。
综上所述 , kafka通过MMFile技术快速将数据顺序写入磁盘 , 在读取时通过零拷贝技术快速读取 , 然后通过批量数据压缩将数据传输到消费者 。 这就是kafka快的秘诀 。 然而鱼与熊掌不可兼得 , 速度和可靠性不可能同时满足 , 需要根据实际业务情况在二者之间作出取舍 。 例如当用kafka做日志聚合和网站用户行为分析时速度要比可靠性重要 , 而在某些消息不允许丢失的场景 , 可靠性可能是首选 。
- [晶用军事]德国一战的攻城重炮兴衰史,“大贝莎”
- [兵戎要志]俄罗斯正在关注美国在俄边境的军事生物实验室,病毒攻城掠地
- 美军▲疫情攻城略地,要做好全球经济滑坡的准备了
- 海陆空武器装备▲中东美军仍不老实,精锐尽出上演攻城大战,病毒在美快速蔓延
- 51CTO▲应该选择RabbitMQ还是Kafka?,讲真
- 『软件』讲真,应该选择RabbitMQ还是Kafka?
- 「中国新闻周刊TB」攻城狮看过来!阿里云深入参与重庆数智化 或将打造又一科技中心
- CDS首云Kafka 消息队列,大数据世界中间件
- 51CTO:也就这么回事,Kafka架构原理
- 人生第一份工作■Kafka架构原理,也就这么回事