kafka在cdh中怎么配置？

求大神指教一下

Hentai · 发表于 2016-9-26 16:37:51

为什么cdh没有把那些自动写好？

arsenduan · 发表于 2016-9-26 17:06:39

Hentai 发表于 2016-9-26 16:37
为什么cdh没有把那些自动写好？

没有写好，所以这个难度加大了。但是同时也可以让我们了解kafka。上面参数我们需要具体的含义，才能填写。

比如 default group，猜测应该是Consumer group

详细信息如下

High Level Consumer将从某个Partition读取的最后一条消息的offset存于ZooKeeper中（Kafka从0.8.2版本开始同时支持将offset存于Zookeeper中与将offset存于专用的Kafka Topic中）。这个offset基于客户程序提供给Kafka的名字来保存，这个名字被称为Consumer Group。Consumer Group是整个Kafka集群全局的，而非某个Topic的。每一个High Level Consumer实例都属于一个Consumer Group，若不指定则属于默认的Group。

再比如：
whitelist、blacklist是可选的，是kafka黑名单和白名单的意思

Hentai · 发表于 2016-9-26 17:20:36

arsenduan 发表于 2016-9-26 17:06
没有写好，所以这个难度加大了。但是同时也可以让我们了解kafka。上面参数我们需要具体的含义，才能填写 ...

标红的那些地方填什么？

arsenduan · 发表于 2016-9-26 18:22:17

可按如下方法配置,hosts只是举例，根据自己的情况换成自己的。后重试即可：

1. 填写Destination Brokers List
若添加了Kafka MirrorMaker，则可填写其所在节点构成的列表；若未添加Kafka MirrorMaker，可填写任意服务器即可，如下：

[mw_shl_code=bash,true]master:9092,slave1:9092,slave2:9092,slave3:9092,slave4:9092
[/mw_shl_code]或：

[mw_shl_code=bash,true]example.com:9092
[/mw_shl_code]

2. 填写Source Brokers List
填写Kafka Broker所在节点构成的列表（用逗号分隔），如下（本文在所有节点部署了Kafka Broker）：

[mw_shl_code=bash,true]master:9092,slave1:9092,slave2:9092,slave3:9092,slave4:9092[/mw_shl_code]

zj220223 · 发表于 2017-6-22 15:29:32

arsenduan 发表于 2016-9-26 18:22
可按如下方法配置,hosts只是举例，根据自己的情况换成自己的。后重试即可：

1. 填写Destination Broker ...

谢谢分享

图文精华

kafka在cdh中怎么配置？

已有(5)人评论

最佳新人

活跃会员

热心会员

推荐 /2