apache kafka技术分享系列(目录索引)
目录索引:
Kafka使用场景
1.为何使用消息系统
2.我们为何需要搭建Apache Kafka分布式系统
3.消息队列中点对点与发布订阅区别
Kafka设计与原理分析
1)apache Kafka概要介绍
2)Kafka副本同步机制理解
3) Kafka文件存储机制那些事(我在美团官博发表文章)
4)Kafka数据可靠性与一致性解析
5)Kafka集群partitions/replicas默认分配解析
6)Apache Kafka消息传递可靠性分析
7)Apache Kafka中Follower如何与Leader同步数据
8) Apache Kafka Broker HA机制
9)《Kafka & Mafka技术分享及讨论》
10)Kafka内部网络框架模型分析
11)Kafka延时分析
12) MQ关注和共性分享
13)Kafka delivery保证
14)apache Kafka Replication设计分析
15)带你去MQ的世界旅行
Kafka优化分析:
1)kafka运行环境优化分析
2) kafka server部署配置优化
相关设计方案
1)基于Kafka如何搭建一个稳定可靠的zk集群服务
2) Kafka Producer机制优化-提高发送消息可靠性
3)Kafka Consumer机制优化-保证每条消息至少消费一次
4)Mafka消息中间件系统SLA
5)基于Kafka时间粒度消息回溯设计方案
Kafka开发与管理:
1)kafak安装与使用
2)apache kafka中server.properties配置文件参数说明
3)Apache kafka客户端开发-java
4)kafka的ZkUtils类的java版本部分代码
5)kafka log4j配置
6)apache kafka的consumer初始化时获取不到消息
7)apache kafka源码构建打包
8)apache kafka迁移与扩容工具用法
Kafka运维手册
1)如何在Kafka上创建一个Topic
2)如何在Kafka上对一个Topic增加partition
3)如何在Kafka上对一个Topic增加replicas
4)如何在Kafka中修改Topic的preferred replica
5)如何在Kafka中对Topic的leader进行均衡
6)apache kafka中topic级别配置
7)apache Kafka下线broker的操作
kafka异常分析:
1)kafka LeaderNotAvailableException
2)kafka.common.ConsumerRebalanceFailedException异常解决办法
3) apache Kafka中partition的leader为-1情况分析
4) kafka-0.8.2.1-src编译报错解决办法
Kafka线上CaseStudy
1)Consumer rebalance失败问题定位和解决思路
2)线上Mafka集群网卡打爆原因分析及解决方案
kafka管理与运维监控相关:
1)apache kafka监控系列-监控指标
2)apache kafka jmx监控指标参数
3)apache kafka监控系列-kafka-web-console
4)apache kafka监控系列-KafkaOffsetMonitor
5)雅虎开源管理工具Kafka Manager
6)Zookeeper管理或操作Apache Kafka
kafka性能测试:
1)apache kafka性能测试命令使用和构建kafka-perf
2)Kafka性能测试报告(虚拟机版)
kafka源码分析:
1)kafka在zookeeper中存储结构
2)kafka replication设计机制
3)Kafka Producer处理逻辑
4)apache kafka源代码工程环境搭建(IDEA)
5)Kafka Controller设计机制
6) kafka broker内部架构
7)apache kafka源码分析走读-kafka整体结构分析
8)apache kafka源码分析走读-Producer分析
9)apache kafka性能优化架构分析
10)apache kafka源码分析走读-server端网络架构分析
11)apache kafka源码分析走读-ZookeeperConsumerConnector分析
12)kafka & mafka client开发与实践
13)kafka的ZookeeperConsumer实现
14)Kafka通过timestamp获取offset的机制详解
15) apache Kafka是如何实现删除数据文件(日志)的
16)kafka broker shutdown过程分析
17) apache kafka系列之源码分析走读-kafkaApi详解
18)apache kafka系列之源码分析走读-SocketServer分析
Makfa平台
1)mafka平台架构
2) Mafka Roadmap和实现
业界MQ分析
<iframe id="cpro_u2392861_iframe" src="http://pos.baidu.com/icfm?sz=300x250&rdid=2392861&dc=2&di=u2392861&dri=0&dis=0&dai=1&ps=737x1428&coa=at%3D3%26rsi0%3D300%26rsi1%3D250%26pat%3D17%26tn%3DbaiduCustNativeAD_xuanfu%26rss1%3D%2523FFFFFF%26conBW%3D1%26adp%3D1%26ptt%3D0%26titFF%3D%2525E5%2525BE%2525AE%2525E8%2525BD%2525AF%2525E9%25259B%252585%2525E9%2525BB%252591%26titFS%3D14%26rss2%3D%2523000000%26titSU%3D0&dcb=BAIDU_SSP_define&dtm=BAIDU_DUP_SETJSONADSLOT&dvi=0.0&dci=-1&dpt=none&tsr=0&tpr=1466357379346&ti=%E8%85%BE%E8%AE%AF%20VS%20%E9%98%BF%E9%87%8C%20VS%20%E6%90%BA%E7%A8%8B%E6%B6%88%E6%81%AF%E4%B8%AD%E9%97%B4%E4%BB%B6%E8%AE%BE%E8%AE%A1%E6%96%B9%E6%A1%88%E5%8F%8A%E6%80%9D%E8%B7%AF%20-%20%E6%9D%8E%E5%BF%97%E6%B6%9B%E7%9A%84%E4%B8%93%E6%A0%8F%20-%20%E5%8D%9A%E5%AE%A2%E9%A2%91%E9%81%93%20-%20CSDN.NET&ari=1&dbv=2&drs=3&pcs=1439x748&pss=1439x7130&cfv=0&cpl=5&chi=9&cce=true&cec=UTF-8&tlm=1466357379&ltu=http%3A%2F%2Fblog.csdn.net%2Flizhitao%2Farticle%2Fdetails%2F51718156&ltr=http%3A%2F%2Fwrite.blog.csdn.net%2Fmdeditor&ecd=1&psr=1440x900&par=1440x819&pis=-1x-1&ccd=24&cja=false&cmi=7&col=zh-CN&cdo=-1&tcn=1466357379&qn=cf708deb2ceff53d&tt=1466357379327.23.175.179" width="300" height="250" align="center,center" vspace="0" hspace="0" marginwidth="0" marginheight="0" scrolling="no" frameborder="0" allowtransparency="true" style="border-width: 0px; border-style: initial; vertical-align: bottom; margin: 0px;"></iframe>
关闭
1.腾讯 VS 阿里 VS 携程消息中间件设计方案及思路
学习成长
1)工程师的六大意识
Kafka中国社区QQ群友博客引用
1)Kafka0.8.2.1删除topic逻辑
2)探讨kafka的分区数与多线程消费
3)
flume写入kafka,使用自带的org.apache.flume.sink.kafka.KafkaSink启动sink报错
4)
Kafka集群平滑重启
5) Kafka副本管理—— 为何去掉replica.lag.max.messages参数
6) Kafka原理以及设计实现思想
7) Linkedin Kafka Monitor安装使用
8)Kafka如何创建topic?
9) Kafka源码分析 KafkaApis(LogAppend)
10) Kafka源码分析 ISR和Replica
11) Kafka源码深度解析
12) 分布式消息队列RocketMQ与Kafka的18项差异之“拨乱反正”
13)分布式消息队列RocketMQ与Kafka的18项差异之“拨乱反正“之2
14) Apache Kafka最佳实践
15) 解决kafka集群由于默认的__consumer_offsets这个topic的默认的副本数为1而存在的单点故障问题
16)kafka数据可靠性深度解
17)kafka【系统配置说明】 - server.properties
18) kafka学习笔记:知识点整理
19) Kafka 高性能吞吐揭秘
20) Kafka服务端异步刷盘性能测试
21) Producer 性能调优公式及验证
22) Producer -Metadata的数据结构与读取、更新策略
23)kafka数据可靠性深度解读
Liunx系统诊断
linux后端诊断与调试技术
JVM问题定位和排错
jvm问题定位和排错