图文精华

About云-梭伦科技»专题 › 交流区 › 技术交流 › Storm › storm读取kafka中新消息SpoutConfig.forceFromStart 找 ...
分享

storm读取kafka中新消息SpoutConfig.forceFromStart 找不到

zou79189747 发表于 2016-6-8 15:07:34 [显示全部楼层] 回帖奖励 阅读模式 关闭右栏 3 20494
storm-kafka用的是0.10.0
这个版本里面找不到SpoutConfig.forceFromStart 这个配置项
需要怎么设置storm读取kafka中新消息，而不是每次都从头开始读取
回复

使用道具 举报

自定义广告语

已有(3)人评论

跳转到指定楼层
正序浏览
einhep 发表于 2016-6-8 16:05:42
楼主可以根据Kafka 的消息日志Offset的位置来增量读取


详细参考：
Kafka 的消息日志Offset
希望有所帮助



回复

使用道具 举报

easthome001 发表于 2016-6-8 17:57:05
zkServer和zkPort配置下
详细参考
storm 0.10.0 kafkaSpout 总是读取旧消息 offset丢失问题

回复

使用道具 举报

smartleon 发表于 2017-4-20 11:50:19
storm0.10.0版本的是ignoreZkOffsets（即forceFromStart ）
设置：ignoreZkOffsets=true即可从最新的位置开始读取
回复

使用道具 举报

高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

发表新帖
zou79189747

注册会员

关注

  • 2

    主题

  • 11

    帖子

  • 3

    粉丝

TA的主题
关闭

推荐上一条 /2 下一条

关于我们· 联系我们· 加入我们· 小黑屋· 合作伙伴   

Copyright © 2001-2024 About云-梭伦科技 Powered by Discuz! X3.4 Licensed Discuz Team.

简书 / Smrz 京ICP备2020039040号 Wxb 简书网举报电话：021-34700000