Zookeeper管理连接信息,包括各个节点的IP,端口等;Producer和Consumer需要到Zookeeper请求Broker的信息,从而进行消息的收发;首先需要明白Broker也就是可以存放数据的节点。这个节点的信息,比如brokerid,ip等存储到zookeeper。
一个新的Broker的启动也需要到Zookeeper来注册; zookeeper也可以配集群。目的是防止某一台挂了;producer和consumer通过zookeeper去发现topic。可以通过命令看到topic、消费者的创建都需要链接zookeeper。
topic的创建
kafka-topics.sh --zookeeper master:2181,slave1:2181,slave2:2181 --create --topic test --replication-factor 1 --partitions 3
消费者的创建
kafka-console-consumer.sh --zookeeper master:2181,slave1:2181,slave2:2181 --topic test --from-beginning
目前也在研究,相互交流
|