分享

Storm-kafka数据不处理情况

骑士叔叔 发表于 2017-10-13 10:10:13 [显示全部楼层] 回帖奖励 阅读模式 关闭右栏 4 6808
目前,遇到一个棘手的问题,storm集群运行过程中,出现数据不处理情况。
架构是kafka-storm-db
当db服务器宕机后,storm由于部分线程与db失去连接,ui出现failed的情况。
db恢复后(间隔约1小时),storm log 显示该时间段产生连接db的异常。
但是无法恢复数据处理,ui显示10分钟到1小时的吞吐量为0,log显示刷新zookeeper的记录信息,
个人感觉spout出了问题,导致新的数据无法过来,db连接无法进行新的创建,
storm集群处于僵死状态,请大家帮忙,有没有遇到类似的问题?

已有(4)人评论

跳转到指定楼层
desehawk 发表于 2017-10-13 12:17:26
有没有缓存什么的,清理下。虽然数据库恢复正常,但是storm依然认为还是异常的,所以产生这个问题。
或则如果能重启的话,可以重启下。
回复

使用道具 举报

骑士叔叔 发表于 2017-10-13 14:54:57
desehawk 发表于 2017-10-13 12:17
有没有缓存什么的,清理下。虽然数据库恢复正常,但是storm依然认为还是异常的,所以产生这个问题。
或则 ...

麻烦问下,storm是如何判断数据库是否恢复的?感觉他应该自我恢复的。
回复

使用道具 举报

desehawk 发表于 2017-10-13 18:08:13
骑士叔叔 发表于 2017-10-13 14:54
麻烦问下,storm是如何判断数据库是否恢复的?感觉他应该自我恢复的。

看日志了吗?storm都报哪些错误
回复

使用道具 举报

qcbb001 发表于 2017-10-13 18:09:49
本帖最后由 qcbb001 于 2017-10-13 18:11 编辑

可能不在于storm,而在于数据库连接。是否使用了连接池,或则连接缓存等。最好贴出错误来。使用的是什么数据等。可以说的更详细些。
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

推荐上一条 /2 下一条