骑士叔叔 发表于 2017-10-13 10:10:13

Storm-kafka数据不处理情况

目前,遇到一个棘手的问题,storm集群运行过程中,出现数据不处理情况。
架构是kafka-storm-db
当db服务器宕机后,storm由于部分线程与db失去连接,ui出现failed的情况。
db恢复后(间隔约1小时),storm log 显示该时间段产生连接db的异常。
但是无法恢复数据处理,ui显示10分钟到1小时的吞吐量为0,log显示刷新zookeeper的记录信息,
个人感觉spout出了问题,导致新的数据无法过来,db连接无法进行新的创建,
storm集群处于僵死状态,请大家帮忙,有没有遇到类似的问题?

desehawk 发表于 2017-10-13 12:17:26

有没有缓存什么的,清理下。虽然数据库恢复正常,但是storm依然认为还是异常的,所以产生这个问题。
或则如果能重启的话,可以重启下。

骑士叔叔 发表于 2017-10-13 14:54:57

desehawk 发表于 2017-10-13 12:17
有没有缓存什么的,清理下。虽然数据库恢复正常,但是storm依然认为还是异常的,所以产生这个问题。
或则 ...

麻烦问下,storm是如何判断数据库是否恢复的?感觉他应该自我恢复的。

desehawk 发表于 2017-10-13 18:08:13

骑士叔叔 发表于 2017-10-13 14:54
麻烦问下,storm是如何判断数据库是否恢复的?感觉他应该自我恢复的。

看日志了吗?storm都报哪些错误

qcbb001 发表于 2017-10-13 18:09:49

本帖最后由 qcbb001 于 2017-10-13 18:11 编辑

可能不在于storm,而在于数据库连接。是否使用了连接池,或则连接缓存等。最好贴出错误来。使用的是什么数据等。可以说的更详细些。
页: [1]
查看完整版本: Storm-kafka数据不处理情况