分享

storm startOffsetTime的问题

mjjian0 发表于 2016-6-27 18:25:19 [显示全部楼层] 只看大图 回帖奖励 阅读模式 关闭右栏 3 10058
KafkaConfig有个参数startOffsetTime:默认为kafka.api.OffsetRequest.EarliestTime()开始读,也就是从Kafka中最早的消息开始处理。也可以设成kafka.api.OffsetRequest.LatestOffset,也就是最早的消息开始读。也可以自己指定具体的值



根据这个参数的解释,我如果给startOffsetTime赋值一个自定义的值,那KafkaSpout就会从这个值对应的offset开始读取数据,但是我设置了,并没有得到想要的结果(isRestOffsetFromStart=true):
LJ$AH73}JIS[SW$$AZJLV.png
仍然是从最开始的地方读取的。
这是为什么啊?

已有(3)人评论

跳转到指定楼层
qcbb001 发表于 2016-6-27 18:59:33
楼主这个参数forceFromStart 是否设置了


public boolean forceFromStart = false;  // 和startOffsetTime,一起用,默认情况下,为false,一旦startOffsetTime被设置,就要置为true


回复

使用道具 举报

mjjian0 发表于 2016-6-28 09:12:07
qcbb001 发表于 2016-6-27 18:59
楼主这个参数forceFromStart 是否设置了

设置了,设置为true了,storm0.10.0版本的是ignoreZkOffsets(即forceFromStart ),一样的。
回复

使用道具 举报

einhep 发表于 2016-6-28 16:39:24
mjjian0 发表于 2016-6-28 09:12
设置了,设置为true了,storm0.10.0版本的是ignoreZkOffsets(即forceFromStart ),一样的。

楼主是否忽略了其它条件。最开始读取是否也是需要配置的。这个配置是否去掉了
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

推荐上一条 /2 下一条