追逐仰望星空|看完他的手写“Kafka笔记”,万分膜拜,公司来了位阿里P8大神

kafka的外在表现很像消息系统 , 允许发布和订阅消息流 , 但是它和传统的消息系统有很大的差异:
首先 , kafka是个现代分布式系统 , 以集群的方式运行 , 可以自由伸缩其次 , kafka可以按照要求存储数据 , 保存多久都可以第三 , 流式处理将数据处理的层次提示到了新高度 , 消息系统只会传递数据 。 kafka的流式处理能力可以让我们用很少的代码就能动态的处理派生流和数据集 。 所以 , kafka不仅仅是个消息中间件kafka不仅仅是个消息中间件 , 同时它是个流平台 , 这个平台上可以发布和订阅数据流(kafka的流 , 有一个单独的包stream的处理) , 并把它们保存起来 , 进行处理 , 这个就是kafka作者的设计理念 。
不装了大神了 , 上面说的这些都是这位大牛的手写kafka笔记里的 , 看完之后万分膜拜 , 所以今天小编也想分享出来给大伙瞧瞧 , 话不多说 , 上目录(内容有点多 , 先来看下 , 大概了解一下) 。
注意:如果需要这份下载完整的手写笔记可直接来转发一下+私信我关键词“kafka” , 立即回复分享免费下载的方式!
追逐仰望星空|看完他的手写“Kafka笔记”,万分膜拜,公司来了位阿里P8大神
文章图片
手写“Kafka笔记”
01kafka入门1.1什么是kafka
1.2kafka中的基本概念
1.2.1消息和批次1.2.2主题和分区1.2.3生产者和消费者、偏移量、消费者群组1.2.4Broker和集群1.2.5保留消息
追逐仰望星空|看完他的手写“Kafka笔记”,万分膜拜,公司来了位阿里P8大神
文章图片
追逐仰望星空|看完他的手写“Kafka笔记”,万分膜拜,公司来了位阿里P8大神
文章图片
部分内容
02为什么选择kafka2.1优点
2.2常见场景
2.2.1活动跟踪2.2.2传递消息2.2.3收集指标和日志2.2.4提交日志2.2.5流处理
追逐仰望星空|看完他的手写“Kafka笔记”,万分膜拜,公司来了位阿里P8大神
文章图片
部分内容
03kafka的安装、管理和配置3.1安装
3.1.1预备环境3.1.2下载和安装kafka3.1.3运行3.1.4kafka基本的操作和管理3.2Broker配置
3.3硬件配置对kafka性能的影响
3.3.1磁盘吞吐量/磁盘容量3.3.2内存3.3.3网络3.3.4CPU3.3.5总结
追逐仰望星空|看完他的手写“Kafka笔记”,万分膜拜,公司来了位阿里P8大神
文章图片
部分内容
追逐仰望星空|看完他的手写“Kafka笔记”,万分膜拜,公司来了位阿里P8大神
文章图片
部分内容
04kafka的集群4.1为何需要kafka集群
4.2如何估算kafka集群中Broker的数量
4.3Broker如何加入kafka集群
追逐仰望星空|看完他的手写“Kafka笔记”,万分膜拜,公司来了位阿里P8大神
文章图片
部分内容
05第一个kafka程序5.1创建我们的主题
5.2生产者发送消息
5.2.1必选属性(bootstrap.servers、key.serializer、value.serializer)5.3消费者接受消息
5.3.1必选参数(group.id)5.4演示示例
追逐仰望星空|看完他的手写“Kafka笔记”,万分膜拜,公司来了位阿里P8大神
文章图片
部分内容
06kafka的生产者6.1生产者发送消息的基本流程
6.2使用kafka生产者
6.2.1三种发送方式(发送并忘记、同步发送、异步发送)6.2.2多线程下的生产者6.2.3更多发送配置(acks、buffer.mempry、max.block.ms、retries、batch.size、linger.ms、compression.type、client.id、、、顺序保证)6.3序列化
6.3.1自定义序列化需要考虑的问题6.4分区
6.4.1自定义分区器
追逐仰望星空|看完他的手写“Kafka笔记”,万分膜拜,公司来了位阿里P8大神
文章图片