Storm-kafka数据不处理情况
目前,遇到一个棘手的问题,storm集群运行过程中,出现数据不处理情况。架构是kafka-storm-db
当db服务器宕机后,storm由于部分线程与db失去连接,ui出现failed的情况。
db恢复后(间隔约1小时),storm log 显示该时间段产生连接db的异常。
但是无法恢复数据处理,ui显示10分钟到1小时的吞吐量为0,log显示刷新zookeeper的记录信息,
个人感觉spout出了问题,导致新的数据无法过来,db连接无法进行新的创建,
storm集群处于僵死状态,请大家帮忙,有没有遇到类似的问题?
有没有缓存什么的,清理下。虽然数据库恢复正常,但是storm依然认为还是异常的,所以产生这个问题。
或则如果能重启的话,可以重启下。
desehawk 发表于 2017-10-13 12:17
有没有缓存什么的,清理下。虽然数据库恢复正常,但是storm依然认为还是异常的,所以产生这个问题。
或则 ...
麻烦问下,storm是如何判断数据库是否恢复的?感觉他应该自我恢复的。
骑士叔叔 发表于 2017-10-13 14:54
麻烦问下,storm是如何判断数据库是否恢复的?感觉他应该自我恢复的。
看日志了吗?storm都报哪些错误
本帖最后由 qcbb001 于 2017-10-13 18:11 编辑
可能不在于storm,而在于数据库连接。是否使用了连接池,或则连接缓存等。最好贴出错误来。使用的是什么数据等。可以说的更详细些。
页:
[1]