环境信息
s1 nimbus
s2 supervisor
s3 supervisor
s4 supervisor
storm提交两个拓扑,tp1,tp2,每个拓扑接受不同消息主题
s2 上 tp1端口6704 tp2端口6705,6706
s4 上 tp1端口6704 tp2端口6705,6706
s3 上 tp1端口6704 ,6705 tp2端口6706
为什么s3上面的端口与其它两个节点上的端口不一样呢?
端口不一样就导致下面的问题出现
[root@s3 6705]# tail -f worker.log
2016-10-12 22:54:27.295 o.a.s.d.worker [WARN] Received invalid messages for unknown tasks. Dropping...
拓扑基本如下:
TopologyBuilder topology = new TopologyBuilder();
topology.setSpout("KafkaReaderMe", new KafkaSpout(spoutConfig) , 3);
topology.setBolt("LocationProcess", new LocationProcess(),8).shuffleGrouping("KafkaReaderMe");
Config config = new Config();
config.setNumWorkers(3);
config.setDebug(false);
config.setMaxTaskParallelism(8);
|