滴！你的专属定制Kafka教程到了，请注意接收

全文共2361字，预计学习时长8分钟

我会保证把存在主义降到最低

在这版 “最佳DZone”中，我们以Apache Kafka为例。这是一个有着低延迟特点的流处理平台， 2011年初领英（LinkedIn）首次将其向开源社区发布，如今Kafka已经成为实时数据流及分析、日志聚合和Spark数据接收的行业标准。

我们希望通过这篇总结，为读者提供所需的资源和知识，无论他们在流平台或大数据方面的专业水平如何，都能全面掌握Kafka技术。

在开始之前，我们对参与本文编辑的人表示感谢。正是因为有大家这样热心的贡献者，渴望和世界分享一切，DZone开源社区才能不断推动，并将继续向前发展。

现在就让我们开始学习吧！

基础知识简介

在《Kafka简介》中，开发人员普拉肖特·夏尔马（PrashantSharma）介绍了Kafka的基础知识，包括消息传递系统的基本原理、Kafka的优点，以及平台中的关键主题（主题、登录、分区、代理等）。

约翰·哈明克（JohnHammink）和让·保罗·阿扎尔（Jean-PaulAzar）在“ApacheKafka简介”和“什么是Kafka, 你想了解的一切”中进一步讨论了这个问题。他深入到kafka背后的架构和功能，并介绍了常见的应用实例及常见的缺点。

然后，在莫里茨·普拉斯尼（MoritzPlassnig）的《ApacheKafka基本原理》一书中，作者对kafka的理论进行了另一番探讨，讨论如何组合消息模型以及分布式日志的应用。

在《Kafka内控者：消费者环节》（KafkaInternals:Consumers）一书中，阿伦·林加拉（ArunLingala）通过研究消费者是如何在此平台中起作用的，继续探索我们在ApacheKafka外部框架下的工作视角。

如果您不确定Kafka是否适合您的下一个项目，请阅读维塔利·萨莫法（VitaliySamofal）的两个系列文章，他将Kafka与RabbitMQ进行了比较，将ActiveMQ与RedisPub / Sub进行了比较。详情请单击此处第一部分，第二部分。

入门

戈帕尔·蒂瓦里（GopalTiwari）在他的文章《在Windows操作系统上设置和运行ApacheKafka》中，引导读者逐步完成安装、设置、运行Kafka服务器、创建主题和运行测试服务器，让Windows用户可以启动和运行Kafka。

对于那些希望将Scala与Kafka结合使用的人，舒巴姆（Shubham）在其教程ApacheKafkaWithScala中为您提供了支持，介绍了如何开始使用框架和Scala项目。

在ApacheKafka：命令行界面的基本设置和使用中，钱德拉·谢哈尔·潘迪（ChandraShekharPandey）介绍了基本命令，这些命令将使读者可以运行Kafka服务器（Broker）并生成和使用消息，主题详情和偏移量详情。

来源：kafka基础架构图

生产者和消费者

瓜拉夫·加格（GauravGarg）在其两篇系列文章中为用户提供了另一篇关于Kafka设置的文章，并向读者展示如何在用Java语言写成的Kafka生产者和消费者示例中利用KafkaBrokers一起生成和消费记录。

开发人员让·保罗·阿扎尔（Jean-PaulAzar）带领读者逐步了解如何使用Java语言编写消费者来接收和处理记录以及设置日志记录，从而在Java编写Kafka消费者中深入了解Kafka消费者。使用Kafka和SpringBoot时需要帮助？，去看拉胡尔·洛库尔特（RahulLokurte）的文章，一个关于使用SpringBoot的Kafka的教程。

约翰·哈明克（JohnHammink）在该列表中第二次出现，他解释了如何使用Kafka和Python在数据流中创建生产者和消费者。如果您不能观看有关该主题的视频，那么不妨看看什里亚斯·乔达里（ShreyasChaudharri）的文章ApacheKafkainAction。

对于所有分区和生产者，请参阅安吉塔·阿格拉瓦尔（AnjitaAgrawal），艾米·博伊尔（AmyBoyl）和西尔维斯特·丹尼尔（SylvesterDaniel）撰写的文章，他们在ApacheKafka主题中解释了Kafka的这些关键概念的本质：架构和分区、Kafka主题分区的有效策略和Kafka生产者概述。

Kafka集群设置

在本文中，西瓦·普拉萨德·拉奥·贾纳帕蒂（SivaPrasadRaoJanapati）深入探讨了如何使用三个不同的代理创建Kafka集群。此外，他还为读者提供了有关Kafka的Producer，Consumer，Streams和ConnectorAPI的一些背景知识。

瓜拉夫·加格（GuaravGarg）在他的文章《如何设置Kafka集群》中再次给出了一个新概念，解释了如何创建与项目所需的节点数无关的群集。

还有另一篇关于集群的文章来自于希提什·耶特瓦（HiteshJethva），他介绍了如何在Ubuntu-16.04上配置Apache-Kafka集群，并向读者展示了如何开始使用Kafka和JavaSDK创建集群。

来源：Kafka架构图

流处理

有关Kafka的StreamsAPI的深入教程，请参阅萨蒂什·夏尔玛（SatishSharma）关于实时流处理的三篇系列文章。在第一部分中，萨蒂什讨论了流基础知识。在第二部分中，他又进一步详述，将知识点扩展到DSL术语和转换。在第三部分中，他引导读者建立了一个单节点Kafka集群。

在本文中，开发人员艾米·博伊尔（AmyBoyle）解释了NewRelic如何构建其Kafka管道，其理念是在当前规模下尽可能平稳，有效地处理数据流。

在动态创建Apache Kafka主题作为数据流的一部分时，蒂姆·斯潘（TimSpann）引导读者以编程方式（作为流的一部分）创建Kafka主题。

集成，测试，数据丢失防护

对于需要将MongoDB数据库连接到Kafka的用户，请参阅 罗伯特·沃尔特（RoberWalters）的这篇文章，其中介绍了如何使用这两个组件（这两个组件构成了许多现代数据架构的核心）。

在使用雅加达EE/MicroProfile连接到ApacheKafka第一部分和第二部分时，奥塔维奥·桑塔纳（OtavioSantana）向读者展示了如何安全地整合雅加达EE和EclipseMicroProfile并在CDI框架之上运行Kafka。

对于您的所有测试需求，尼玛尔·钱德拉（NirmalChandra）撰写了一篇精彩的文章，涵盖了声明性Kafka测试（以及涉及Kafka和REST的微服务测试）的基本方面。

什里亚·乔达里（ShreyaChaudhari）在他的文章ApacheKafka-Resiliency，FaultTolerance和HighAvailability （ApacheKafka弹性，容错性和高可用性）中讨论了Kafka使用复制因子和同步副本来防止磁盘和代理失效时数据丢失的情况。

额外学习

想要关于Kafka所有知识的综合课程吗？查看贾文·保罗（JavinPaul）的这篇文章，其中详细介绍了2019年的五门在线课程，这些课程将帮助您开始Kafka之旅。

您仍然觉得需要更多有关Kafka的信息吗？查看莫纳斯·达什（ManasDash）在Kafka上分享的关于Kafka的一些想法，他还在平台上提供了一些他喜欢的资源。

加入我们吧！

认为我们还有所欠缺吗？想为数据开源做出贡献吗？请在下面的评论中告诉我们…或者，加入我们，成为社区的一员，这里有成千上万的开发人员渴望与他人分享编程知识，释放编程热情。

推荐阅读专题

留言 点赞 关注

我们一起分享AI学习与发展的干货

如需转载，请后台留言，遵守转载规范