分享

怎么才能减缓读取kafka数据的速度

caiyifeng 发表于 2015-5-18 17:48:19 [显示全部楼层] 回帖奖励 阅读模式 关闭右栏 2 58675
我用kafka+storm搭了个平台,现在因为storm的bolt上的逻辑有点复杂,主要跟数据库有交互,导致了延时率过高,出现很多的失败数据,我想一部分原因是否跟从kafka上读取的数据过快有关,是否能设置参数,减缓读取数据,也许能解决这个问题,请问哪位大侠知道吗?

已有(2)人评论

跳转到指定楼层
arsenduan 发表于 2015-5-18 18:29:30
本帖最后由 arsenduan 于 2015-5-18 20:39 编辑

kafka的速度由broker决定,Kafka的broker配置中下面参数

log.index.interval.bytes 默认值:4096

当执行一个fetch操作后,需要一定的空间来扫描最近的offset大小,设置越大,代表扫描速度越快,但是也更耗内存,一般情况下不需要改变这个参数。

更多参考
http://www.aboutyun.com/thread-13193-1-1.html
回复

使用道具 举报

lixiaoliang7 发表于 2015-5-19 10:12:58
sparkstreaming可以通过参数控制吞吐量,不知道storm是否可以。
另外,不建议实时处理平时做一些与数据库交互的“重”处理,它本身就不是干这个的,我觉得
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

推荐上一条 /2 下一条