Kafka入门-程序员宅基地
技术标签： 自动化测试 kafka 软件测试 功能测试 职场和发展 分布式 程序人生
kafka无疑是当今互联网公司使用最广泛的分布式实时消息流系统，它的高吞吐量，高可靠等特点为并发下的大批量实时请求处理提供了可靠保障。很多同学在项目中都用到过kafka，但是对kafka的设计原理以及处理机制并不是十分清楚。为了知其然知其所以然，本文主要从三个方面介绍kafka，第一，kafka简介以及适用场景，第二，kafka设计原理，三，常见问题及思考。
一、kafka简介及适用场景
**kafka官网上对 kafka 的定义：**一个分布式发布-订阅消息传递系统。主要特点包括高吞吐量、持久化（消息持久化到磁盘，支持批量和实时处理）、可扩展性、容错性。
kafka 相关术语：
Message（消息）：基本数据单元（key-value形式）。为了提高效率，消息被分批次写入 kafka。批次就是一组消息，这些消息属于同一个Topic和Partition。
Topic（主题）：每条消息都有一个类别，这个类别被称为 Topic。Topic类似于数据库的表或者一个文件夹，物理上不同 Topic 的消息分开存储。
Partition（分区）：每个 Topic 包含一个或多个 Partition。Partition是物理概念，通常，一个Topic的消息被均匀地分发到每个partition，以追加的方式写入，先入先出的顺序读取。注：由于一个主题一般包含几个分区，因此无法在整个主题范围内保证消息的顺序，但可以保证消息在单个分区的顺序。
Offst(偏移量)：单个分区中的每一条消息都被分配一个 Offset，它是一个单调递增的整型数，可用来作为分区中消息的唯一标识符。
Broker（缓存代理）：kafka 集群包含一个或多个服务器，这种服务器被称为 broker。不维护任何消息的状态。
Producer（生产者）：负责发布消息到 kafka broker。
Consumer（消费者）：消息消费者，向 kafka broker 读取消息的客户端。
Consumer Group（消费组）：每个 Consumer 属于一个特定的 Consumer Group。注：一个分区消息只能被一个Consumer Group中的一个Consumer消费。一个Consumer可以消费多个Topic的消息。每个Group中Consumer消息消费独立。具体理解见下图，第三部分的常见问题2给出了解释。
kafka使用场景
1）push发送
2）高吞吐量
3）可以作为大缓冲区使用
4）Hadoop或传统的数据仓库中存储消息用于离线分析
5）nginx日志收集
二、kafka设计原理
一个简单的kafka集群架构如下图所示
从图中可以看到，生产者将数据发送(push)到Broker代理，Broker代理有多个topic，消费者主动从Broker获取(pull)数据。为什么采取Broker拉去数据的方式，下面的思考问题会给出答案。在发送，拉去过程中kafka的一些机制如下。
1、Message-partition的分配机制
1）Key不为空时：对key进行hash后对分区数量取余运算，保证了同一个key会被分到同一个分区。
2）key为空，则进行轮询发送。
2、kafka 默认的消息保留策略
要么保留一段时间，要么保留到到消息达到一定大小的字节数。
**3、kafka消息处理机制 **
1） 发送到partitions中的消息将会按照它接收的顺序追加到日志中。
2）对于消费者而言,它们消费消息的顺序和日志中消息顺序一致。
3）如果Topic的“replication factor”（复制因子）为N,那么允许N-1个kafka实例失效，比如3副本的设置允许2个副本失效。
4）kafka提供at-least-once（至少一次） delivery,即当consumer宕机后，有些消息可能会被重复delivery。
5）因每个partition只会被consumer group内的一个consumer消费，故kafka保证每个partition内的消息会被顺序的消费。
6）ack校验，当消费者消费成功，返回ack信息。
三、常见问题及思考
1、为什么Broker为什么不主动推送消息，然后保存消息状态为已消费？
Broker推送消息的方式无法很好地保证消费的处理语义。比如当我们已经把消息发送给消费者之后，由于消费进程挂掉或者由于网络原因没有收到这条消息，如果我们在消费代理将其标记为已消费，这个消息就永久丢失了。kafka 采取拉取模型(pull)，由自己控制消费速度，以及消费的进度，消费者可以按照任意的偏移量进行消费。比如消费者可以消费已经消费过的消息进行重新处理，或者消费最近的消息。
2、为什么一个分区消息只能被一个消费组中的一个消费者消费？
我们可以假设同一个消费组中的消费者1 已经消费了1-10，那么该分区的消费index 需要移动到10的位置。当同一个消费组中的消费者2希望消费10-20时，index再继续进行移动。
问题1我们已经了解了broker维护消息状态的以及索引的弊端。那么就需要在consumer端进行多个index维护，那么就得引入中心的概念，大家都在中心去获得当前的index，这会增加复杂性。因此，虽然牺牲了分区的分布式消费。但是因为可以有多个分区，也是一个比较合理的方案。
3、为什么发送了消息，接收端确没有收到消息？
a、确认发送方和接收方配置的topic是否一致；
b、确认发送方和接收方配置的kafka集群是否一致（jps命令查看集群是否启动）
c、确认发送方和接收方配置的是不是同一个partition；
d、查看时间戳的方式确认发送方的消息是否落入到kafka的日志中；
d.1没有落入相应partition的kafka日志中（即kafka没有接收到）
1）发送方是否有特殊配置，即一定量的消息才发送到kafka中（批量发送，可设置）；
2）消息没有发送成功，消息格式不正确或者kafka发送工具问题；
d.2kafka日志中（即kafka没有接收到）
1）接收端offset设置有误，导致接收不到消息；
2）接收端拉取消息出现问题
四、总结
文本简述了kafka的简介以及原理，企业在实际使用中还会有很多新的挑战
行动吧，在路上总比一直观望的要好，未来的你肯定会感 谢现在拼搏的自己！如果想学习提升找不到资料，没人答疑解惑时，请及时加入扣群： 320231853，里面有各种软件测试+开发资料和技术可以一起交流学习哦。
最后感谢每一个认真阅读我文章的人，礼尚往来总是要有的，虽然不是什么很值钱的东西，如果你用得到的话可以直接拿走：
这些资料，对于【软件测试】的朋友来说应该是最全面最完整的备战仓库，这个仓库也陪伴上万个测试工程师们走过最艰难的路程，希望也能帮助到你！
智能推荐
【新手科研指南5】深度学习代码怎么读-小白阶段性思路（以手写数字识别应用为例）_深度学习程序怎么读-程序员宅基地
文章浏览阅读6.2k次，点赞6次，收藏26次。我是一个深度学习代码小白，请你用中文写上注释，能让我能轻松理解下面这段代码。注意包含所有函数、调用和参数的注释。以同样的python代码块样式返回你写的代码给我。代码看累了，就看《动手学深度学习》文档：基于PyTorch框架，从底层函数实现基础功能，再到框架的高级功能。努力上路的小白一枚，麻烦路过的大佬指导一二，同时希望能和大家交流学习~争取更新学习这个文档的专栏，记录学习过程。量身定做了一套话术hhh，亲身测试还不错。这个感觉更浅一点儿，之后复习看吧。20天吃掉那只Pytorch。_深度学习程序怎么读
Java学习路线图，看这一篇就够了！-程序员宅基地
文章浏览阅读2.7w次，点赞126次，收藏1.2k次。耗废1024根秀发，Java学习路线图来了，整合了自己所学的所有技术整理出来的2022最新版Java学习路线图，适合于初、中级别的Java程序员。_java学习路线
PCL_Tutorial2-1.7-点云保存PNG_pcl::io:savepng-程序员宅基地
文章浏览阅读4.4k次。1.7-savingPNG介绍代码详情函数详解savePNGFile（）源码savePNGFile（）源码提示savePNGFile（）推荐用法处理结果代码链接介绍PCL提供了将点云的值保存到PNG图像文件的可能性。这只能用有有序的云来完成，因为结果图像的行和列将与云中的行和列完全对应。例如，如果您从类似Kinect或Xtion的传感器中获取了点云，则可以使用它来检索与该云匹配的640x480 RGB图像。代码详情#include <pcl / io / pcd_io.h>#incl_pcl::io:savepng
知乎问答：程序员在咖啡店编程，喝什么咖啡容易吸引妹纸？-程序员宅基地
文章浏览阅读936次。吸引妹子的关键点不在于喝什么咖啡，主要在于竖立哪种男性人设。能把人设在几分钟内快速固定下来，也就不愁吸引对口的妹子了。我有几个备选方案，仅供参考。1. 运动型男生左手单手俯卧撑，右手在键盘上敲代码。你雄壮的腰腹肌肉群活灵活现，简直就是移动的春药。2.幽默男生花 20 块找一个托（最好是老同学 or 同事）坐你对面。每当你侃侃而谈，他便满面涨红、放声大笑、不能自已。他笑的越弱_咖啡厅写代码
【笔试面试】腾讯WXG 面委会面复盘总结 --一次深刻的教训_腾讯面委会面试是什么-程序员宅基地
文章浏览阅读1.2w次，点赞5次，收藏5次。今天 （应该是昨天了，昨晚太晚了没发出去）下午参加了腾讯WXG的面委会面试。前面在牛客上搜索了面委会相关的面经普遍反映面委会较难，因为都是微信的核心大佬，问的问题也会比较深。昨晚还蛮紧张的，晚上都没睡好。面试使用的是腾讯会议，时间到了面试官准时进入会议。照例是简单的自我介绍，然后是几个常见的基础问题：例如数据库索引，什么时候索引会失效、设计模式等。这部分比较普通，问的也不是很多，不再赘述。现在回想下，大部分还是简历上写的技能点。接下来面试官让打开项目的代码，对着代码讲解思路。我笔记本上没有这部分代码，所_腾讯面委会面试是什么
AI绘画自动生成器：艺术创作的新浪潮-程序员宅基地
文章浏览阅读382次，点赞3次，收藏4次。AI绘画自动生成器是一种利用人工智能技术，特别是深度学习算法，来自动创建视觉艺术作品的软件工具。这些工具通常基于神经网络模型，如生成对抗网络（GANs），通过学习大量的图像数据来生成新的图像。AI绘画自动生成器作为艺术与科技结合的产物，正在开启艺术创作的新篇章。它们不仅为艺术家和设计师提供了新的工具，也为普通用户提供了探索艺术的机会。随着技术的不断进步，我们可以预见，AI绘画自动生成器将在未来的创意产业中发挥越来越重要的作用。
随便推点
Flutter ListView ListView.build ListView.separated_flutter listview.separated和listview.builder-程序员宅基地
文章浏览阅读1.7k次。理解为ListView 的三种形式吧ListView 默认构造但是这种方式创建的列表存在一个问题：对于那些长列表或者需要较昂贵渲染开销的子组件，即使还没有出现在屏幕中但仍然会被ListView所创建，这将是一项较大的开销，使用不当可能引起性能问题甚至卡顿直接返回的是每一行的Widget，相当于ios的row。行高按Widget（cell）高设置ListView.build 就和io..._flutter listview.separated和listview.builder
2021 最新前端面试题及答案-程序员宅基地
文章浏览阅读1.4k次，点赞4次，收藏14次。废话不多说直接上干货1.js运行机制JavaScript单线程，任务需要排队执行同步任务进入主线程排队，异步任务进入事件队列排队等待被推入主线程执行定时器的延迟时间为0并不是立刻执行，只是代表相比于其他定时器更早的被执行以宏任务和微任务进一步理解js执行机制整段代码作为宏任务开始执行，执行过程中宏任务和微任务进入相应的队列中整段代码执行结束，看微任务队列中是否有任务等待执行，如果有则执行所有的微任务，直到微任务队列中的任务执行完毕，如果没有则继续执行新的宏任务执行新的宏任务，凡是在..._前端面试
linux基本概述-程序员宅基地
文章浏览阅读1k次。（3）若没有查到，则将请求发给根域DNS服务器，并依序从根域查找顶级域，由顶级查找二级域，二级域查找三级，直至找到要解析的地址或名字，即向客户机所在网络的DNS服务器发出应答信息，DNS服务器收到应答后现在缓存中存储，然后，将解析结果发给客户机。（3）若没有查到，则将请求发给根域DNS服务器，并依序从根域查找顶级域，由顶级查找二级域，二级域查找三级，直至找到要解析的地址或名字，即向客户机所在网络的DNS服务器发出应答信息，DNS服务器收到应答后现在缓存中存储，然后，将解析结果发给客户机。_linux
JavaScript学习手册十三：HTML DOM——文档元素的操作（一)_javascript学习手册十三:html dom——文档元素的操作(一)-程序员宅基地
文章浏览阅读7.9k次，点赞26次，收藏66次。HTML DOM——文档元素的操作1、通过id获取文档元素任务描述相关知识什么是DOM文档元素节点树通过id获取文档元素代码文件2、通过类名获取文档元素任务描述相关知识通过类名获取文档元素代码文件3、通过标签名获取文档元素任务描述相关知识通过标签名获取文档元素获取标签内部的子元素代码文件4、html5中获取元素的方法一任务描述相关知识css选择器querySelector的用法代码文件5、html5中获取元素的方法二任务描述相关知识querySelectorAll的用法代码文件6、节点树上的操作任务描述相关_javascript学习手册十三:html dom——文档元素的操作(一)
《LeetCode刷题》172. 阶乘后的零（java篇）_java 给定一个整数n,返回n!结果尾数中零的数量-程序员宅基地
文章浏览阅读132次。《LeetCode学习》172. 阶乘后的零（java篇）_java 给定一个整数n,返回n!结果尾数中零的数量
php 公众号消息提醒,如何开启公众号消息提醒功能-程序员宅基地
文章浏览阅读426次。请注意，本文将要给大家分享的并不是开启公众号的安全操作风险提醒，而是当公众号粉丝给公众号发消息的时候，公众号的管理员和运营者如何能在手机上立即收到消息通知，以及在手机上回复粉丝消息。第一步：授权1、在微信中点击右上角+，然后选择“添加朋友”，然后选择“公众号”，然后输入“微小助”并关注该公众号。2、进入微小助公众号，然后点击底部菜单【新增授权】，如下图所示：3、然后会打开一个温馨提示页面。请一定要..._php微信公众号服务提示