高吞吐量的分布式发布订阅消息系统Kafka
一、Kafka概述
Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者规模的网站中的所有动作流数据。 这种动作（网页浏览，搜索和其他用户的行动）是在现代网络上的许多社会功能的一个关键因素。 这些数据通常是由于吞吐量的要求而通过处理日志和日志聚合来解决。 对于像Hadoop的一样的日志数据和离线分析系统，但又要求实时处理的限制，这是一个可行的解决方案。Kafka的目的是通过Hadoop的并行加载机制来统一线上和离线的消息处理，也是为了通过集群机来提供实时的消费。
二、Kafka相关术语
- BrokerKafka集群包含一个或多个服务器，这种服务器被称为broker
- Topic每条发布到Kafka集群的消息都有一个类别，这个类别被称为Topic。（物理上不同Topic的消息分开存储，逻辑上一个Topic的消息虽然保存于一个或多个broker上但用户只需指定消息的Topic即可生产或消费数据而不必关心数据存于何处）
- PartitionPartition是物理上的概念，每个Topic包含一个或多个Partition.
- Producer负责发布消息到Kafka broker
- Consumer消息消费者，向Kafka broker读取消息的客户端。
- Consumer Group每个Consumer属于一个特定的Consumer Group（可为每个Consumer指定group name，若不指定group name则属于默认的group）。
二、Kafka下载及安装
1、下载
1 | wget http://apache.fayea.com/kafka/0.9.0.1/kafka_2.11-0.9.0.1.tgz |
2、安装
1 2 | tar zxvf kafka_2.11-0.9.0.1.tgzcd kafka_2.11-0.9.0.1 |
3、集群配置
设定有两台服务器192.168.1.237、192.168.1.238，两台服务器各安装有两zookeeper,端口都为2181（zookeeper不再说明），每个服务器都为Kafka配置3个broker。
3.1、server.properties配置
1 2 3 4 5 6 | broker.id = 10port = 9090host.name=192.168.1.237advertised.host.name=192.168.1.237log.dirs=/tmp/kafka-logs/server0zookeeper.connect=192.168.1.237:2181,192.168.1.238:2181 |
说明：host.name\advertised.host.name两个参数还是要配置为IP，否则会有各种各样的问题。
3.2、server1.properties配置
1 | cp config/servier.properties config/server1.properties<br>vim config/server1.properties |
1 2 3 4 5 6 | broker.id = 11port = 9091host.name=192.168.1.237advertised.host.name=192.168.1.237log.dirs=/tmp/kafka-logs/server1zookeeper.connect=192.168.1.237:2181,192.168.1.238:2181 |
3.3、server2.properties配置
1 2 | cp config/servier.properties config/server2.propertiesvim config/server2.properties |
1 2 3 4 5 6 | broker.id = 12port = 9092host.name=192.168.1.237advertised.host.name=192.168.1.237log.dirs=/tmp/kafka-logs/server2zookeeper.connect=192.168.1.237:2181,192.168.1.238:2181 |
说明：同一台服务器port、log.dirs不能相同，不同的服务器broker.id只要在一个集群中都不能相同。
3.4、同理 另一台服务器的server.properties，server1.properties，server2.properties的broker.id分别为：20、21、22，port分别为：9090、9091、9092 其它：host.name=192.168.1.238、advertised.host.name=192.168.1.238
3.5、启动
1 2 3 | bin/kafka-server-start.sh config/server.properties &bin/kafka-server-start.sh config/server1.properties &bin/kafka-server-start.sh config/server2.properties & |
3.6、监控端口
1 2 3 4 | netstat -tunpl |grep 2181netstat -tunpl |grep 9090netstat -tunpl |grep 9091netstat -tunpl |grep 9092 |
看一下这4个端口起来没有，并看一下iptables有没有加入这4个IP的启动，或要把iptables相关，否则JAVA连接不进来。
四、测试
4.1、创建Topic
1 | bin/kafka-topics.sh --create --zookeeper 192.168.1.237:2181 --replication-factor 3 --partitions 1 --topic testTopic |
4.2、查看创建情况
1 | bin/kafka-topics.sh --describe --zookeeper 192.168.1.237:2181 --topic testTopic |
4.3、生产者发送消息
1 | bin/kafka-console-producer.sh --broker-list 192.168.1.237:9090 --topic testTopic |
4.4、消费都接收消息
1 | bin/kafka-console-consumer.sh --zookeeper 192.168.1.237:2181 --from-beginning --topic testTopic |
4.5、检查consumer offset位置
1 | bin/kafka-run-class.sh kafka.tools.ConsumerOffsetChecker --zkconnect 192.168.1.237:2181 --group testTopic |
五、遇到的问题
1、运行一段时间报错
1 2 3 4 5 6 | ## There is insufficient memory for the Java Runtime Environment to continue.# Native memory allocation (malloc) failed to allocate 986513408 bytes for committing reserved memory.# An error report file with more information is saved as:# //hs_err_pid6500.logOpenJDK 64-Bit Server VM warning: INFO: os::commit_memory(0x00000000bad30000, 986513408, 0) failed; error='Cannot allocate memory' (errno=12) |
解决：
you can adjust the JVM heap size by editing kafka-server-start.sh, zookeeper-server-start.shand so on:
1 | export KAFKA_HEAP_OPTS="-Xmx1G -Xms1G" |
The -Xms parameter specifies the minimum heap size. To get your server to at least start up, try changing it to use less memory. Given that you only have 512M, you should change the maximum heap size (-Xmx) too:
1 | export KAFKA_HEAP_OPTS="-Xmx256M -Xms128M" |