Storm服务器程序运行不稳定。

楼主Spout是可靠的，还是不可靠的

现在我的storm程序也发生了类似的问题，运行一段时间后卡顿，几个小时到十几个小时不等，现象和你描述的一致，无法再接收kafka发送的数据，后面的bolt也没有接收到数据。
我用的jar包是storm-kafka1.0.1.jar。现在还没有解决此问题，有没有好的方法？

sun1 发表于 2017-2-6 17:39
现在我的storm程序也发生了类似的问题，运行一段时间后卡顿，几个小时到十几个小时不等，现象和你描述的一 ...

可能是内存的问题，查看下对应的日志，然后调整下配置参数。或则采用楼主的办法，暂时休眠
Thread.sleep(1);//这里我睡眠1毫秒，问题就解决了，一次往kafka里放了3W条记录没出现问题

qcbb001 发表于 2017-2-6 19:04
可能是内存的问题，查看下对应的日志，然后调整下配置参数。或则采用楼主的办法，暂时休眠
Thread.sleep ...

topology的默认内存我已经调整了。现在每分钟大概40+万条数据，如果sleep 1毫秒，数据容易堆积。

sun1 发表于 2017-2-7 11:10
topology的默认内存我已经调整了。现在每分钟大概40+万条数据，如果sleep 1毫秒，数据容易堆积。

sun1怎么调整的

@sun1 @qcbb001 两位，你们是如何解决这个问题的？

sun1 发表于 2017-2-7 11:10
topology的默认内存我已经调整了。现在每分钟大概40+万条数据，如果sleep 1毫秒，数据容易堆积。

在topology中Config config = new Config();
                        config.put(Config.WORKER_HEAP_MEMORY_MB, 1024);
                        config.put(Config.TOPOLOGY_WORKER_MAX_HEAP_SIZE_MB, 1024);

我之前看资料好像默认内存是788M？我现在调成了1024了。但是还是会出现卡顿的现象。

Auer 发表于 2017-6-13 10:36
@sun1 @qcbb001 两位，你们是如何解决这个问题的？

我的问题还没有解决呢。就在那里耗着。写了个脚本，出问题了，就重启一下。