分享

kafka+storm问题请教,急!

caiyifeng 发表于 2015-5-7 23:42:44 [显示全部楼层] 回帖奖励 阅读模式 关闭右栏 5 15505
我用kafka+storm搭了一个平台,遇到一个丢数据的难解问题,求各位帮忙
发送到kafka的消息条数为552860条,
在storm中调用kafkaSpout读取kafka的数据,可结果却只能取到40万多条的数据

我又用zookeeper的客户端查了下,发现两个分区信息的offset 是正确的,他们加起来就是552860条数,
那为什么通过kafkaSpout取到的数据会少呢,有哪位大虾能指点下吗??

已有(5)人评论

跳转到指定楼层
s060403072 发表于 2015-5-8 00:18:38
楼主你的计算方法是什么?
回复

使用道具 举报

bioger_hit 发表于 2015-5-8 00:37:45
一般不会丢失,楼主是不是计算失误或则忽略了什么因素
回复

使用道具 举报

mituan2008 发表于 2015-5-8 07:47:51
有几个分区,会不会有的没有读取到
回复

使用道具 举报

bob007 发表于 2015-5-8 14:32:49
楼主这个问题解决了么
回复

使用道具 举报

caiyifeng 发表于 2015-5-8 22:42:17
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

推荐上一条 /2 下一条