Storm消费topic的问题，求教

arsenduan · 发表于 2015-8-12 19:46:05

caiyifeng 发表于 2015-8-8 22:18
kafka group.id 这个参数在哪配置的，能给个例子吗？我在构建Topology时好像没用到

一个拓扑能做的事情，楼主用两个拓扑，原因是什么

caiyifeng · 发表于 2015-8-12 21:03:54

arsenduan 发表于 2015-8-12 19:46
一个拓扑能做的事情，楼主用两个拓扑，原因是什么

原因很简单啊，两个Topology所用到的数据是一样的，但处理的业务不一样，而且都比较复杂，最好是分开进行处理

NEOGX · 发表于 2015-8-12 21:26:04

本帖最后由 NEOGX 于 2015-8-12 21:29 编辑

caiyifeng 发表于 2015-8-12 21:03
原因很简单啊，两个Topology所用到的数据是一样的，但处理的业务不一样，而且都比较复杂，最好是分开进行 ...

数据源一样的，一个Topology完成一件事情。分别往两个拓扑里发，两个拓扑不搭边。自己处理自己的。不需要两个都抢。

hufan2005 · 发表于 2015-8-14 09:37:51

两个Topology，同一个topic分区的数据，其中一个Topology已经读取过了，另一个Topology能继续消费。在数据过期之前多个Topology应用可共享同一topic的数据，运行多个kafka-console-consumer.sh读同一topic就能验证

caiyifeng · 发表于 2015-8-14 17:54:27

谢谢楼上各位，我试过了，确实两个Topology能同时消费同一个topic，不需要设置group.id

图文精华