关于Kafka

Kafka是由Apache软件基金会开发的一个开源流处理平台，由Scala和Java编写。Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者规模的网站中的所有动作流数据。 这种动作（网页浏览，搜索和其他用户的行动）是在现代网络上的许多社会功能的一个关键因素。 这些数据通常是由于吞吐量的要求而通过处理日志和日志聚合来解决。 对于像Hadoop的一样的日志数据和离线分析系统，但又要求实时处理的限制，这是一个可行的解决方案。Kafka的目的是通过Hadoop的并行加载机制来统一线上和离线的消息处理，也是为了通过集群来提供实时的消息。

有很多人问过我要过Kafka相关的面试题，我一直懒得整理，这几天花了点时间，结合之前面试被问过的、别人咨询过的、我会问别人的进行了相关的整理，也就几十题，大家花个几分钟看看应该都会。面试题列表如下：

Kafka的面试题

1. Kafka的用途有哪些？使用场景如何？
2. Kafka中的ISR、AR又代表什么？ISR的伸缩又指什么
3. Kafka中的HW、LEO、LSO、LW等分别代表什么？
4. Kafka中是怎么体现消息顺序性的？
5. Kafka中的分区器、序列化器、拦截器是否了解？它们之间的处理顺序是什么？
6. Kafka生产者客户端的整体结构是什么样子的？
7. Kafka生产者客户端中使用了几个线程来处理？分别是什么？
8. Kafka的旧版Scala的消费者客户端的设计有什么缺陷？
9. “消费组中的消费者个数如果超过topic的分区，那么就会有消费者消费不到数据”这句话是否正确？如果不正确，那么有没有什么hack的手段？
10. 消费者提交消费位移时提交的是当前消费到的最新消息的offset还是offset+1?
11. 有哪些情形会造成重复消费？
12. 那些情景下会造成消息漏消费？
13. KafkaConsumer是非线程安全的，那么怎么样实现多线程消费？
14. 简述消费者与消费组之间的关系
15. 当你使用kafka-topics.sh创建（删除）了一个topic之后，Kafka背后会执行什么逻辑？
16. topic的分区数可不可以增加？如果可以怎么增加？如果不可以，那又是为什么？
17. topic的分区数可不可以减少？如果可以怎么减少？如果不可以，那又是为什么？
18. 创建topic时如何选择合适的分区数？
19. Kafka目前有那些内部topic，它们都有什么特征？各自的作用又是什么？
20. 优先副本是什么？它有什么特殊的作用？
21. Kafka有哪几处地方有分区分配的概念？简述大致的过程及原理
22. 简述Kafka的日志目录结构
23. Kafka中有那些索引文件？
24. 如果我指定了一个offset，Kafka怎么查找到对应的消息？
25. 如果我指定了一个timestamp，Kafka怎么查找到对应的消息？
26. 聊一聊你对Kafka的Log Retention的理解
27. 聊一聊你对Kafka的Log Compaction的理解
28. 聊一聊你对Kafka底层存储的理解（页缓存、内核层、块层、设备层）
29. 聊一聊Kafka的延时操作的原理
30. 聊一聊Kafka控制器的作用
31. 消费再均衡的原理是什么？（提示：消费者协调器和消费组协调器）
32. Kafka中的幂等是怎么实现的
33. Kafka中的事务是怎么实现的（这题我去面试6加被问4次，照着答案念也要念十几分钟，面试官简直凑不要脸。实在记不住的话...只要简历上不写精通Kafka一般不会问到，我简历上写的是“熟悉Kafka，了解RabbitMQ....”）
34. Kafka中有那些地方需要选举？这些地方的选举策略又有哪些？
35. 失效副本是指什么？有那些应对措施？
36. 多副本下，各个副本中的HW和LEO的演变过程
37. 为什么Kafka不支持读写分离？
38. Kafka在可靠性方面做了哪些改进？（HW, LeaderEpoch）
39. Kafka中怎么实现死信队列和重试队列？
40. Kafka中的延迟队列怎么实现（这题被问的比事务那题还要多！！！听说你会Kafka，那你说说延迟队列怎么实现？）
41. Kafka中怎么做消息审计？
42. Kafka中怎么做消息轨迹？
43. Kafka中有那些配置参数比较有意思？聊一聊你的看法
44. Kafka中有那些命名比较有意思？聊一聊你的看法
45. Kafka有哪些指标需要着重关注？
46. 怎么计算Lag？(注意read_uncommitted和read_committed状态下的不同)
47. Kafka的那些设计让它有如此高的性能？
48. Kafka有什么优缺点？
49. 还用过什么同质类的其它产品，与Kafka相比有什么优缺点？
50. 为什么选择Kafka?
51. 在使用Kafka的过程中遇到过什么困难？怎么解决的？
52. 怎么样才能确保Kafka极大程度上的可靠性？
53. 聊一聊你对Kafka生态的理解

一般来说面试官关于Kafka会问的问题都是这些！如果上面的问题都能掌握，相信在面试Kafka的时候肯定能够完全应付

面试答案领取方式：关注+转发+收藏后私信【java】即可免费获取哦！

关于优化的脑图，各位可以收藏一下！

如果对本文内容还是不太理解的话，小编这里也整理了一套学习资料！

资料领取方式：关注+转发+收藏后私信【java】即可免费获取

对这篇文章有不同的看法，欢迎在下面评论区留言！