某个Bolt操作的资源总是超时，把strom拖死

有没有人知道，出现下面两种情况，需要如何避免或者解决的：
1.某个Bolt操作的资源总是超时，把strom拖死
2.忽然输入数据，出现一个很大的峰值，导致storm响应不过来

howtodown · 发表于 2014-9-2 18:29:04

如果能区分出超时操作的数据，把超时操作的bolt单独分开处理

desehawk · 发表于 2014-9-2 18:31:06

有没有措施，在待处理的tuple达到一定量的时候，就不要再产生新的Tuple了？
我目前是在调用阶段，不知道使用storm的维护成本怎么样，
目前听有经验的说，比较高

经常补数据

sstutu · 发表于 2014-9-2 18:31:54

问题1、加大处理耗时的bolt的线程数
问题2、spout加入阻塞队列

desehawk · 发表于 2014-9-2 18:33:16

其实第一个问题不是某一个bolt耗时的问题，我是假想比如一段时间网络有问题，导致一些bolt处理很慢，担心到整个系统拖垮
用阻塞队列应该是一个比较好的办法

sstutu · 发表于 2014-9-2 18:34:03

出现网络问题，那就没办法了

desehawk · 发表于 2014-9-2 18:34:53

阻塞队列 1.2 的问题，其实都是可以解决的

sstutu · 发表于 2014-9-2 18:35:41

bolt之间最好根据延迟比例设置下线程数比例

保证整个bolt之间能协同作业，不要出现一个太慢，导致阻塞

zmer · 发表于 2015-9-5 17:11:29

storm中的spout不是主动去拉取数据吗？怎么会有第二种问题的产生？

图文精华