分享

关于flume的channel的选择问题

各位前辈好:由于公司业务需要:flume如何自定义channel?比如:我的sink速度太慢,就将event收集到file中;sink速度太快,就收集到memory中;从而实现flume收集系统的稳定性。
前辈们,我的这种想法能否实现?如果能实现,是怎么实现的呢?

已有(2)人评论

跳转到指定楼层
langke93 发表于 2018-1-28 19:15:19
本帖最后由 langke93 于 2018-1-28 19:17 编辑

有两个方案:1.其实flume应该还是稳定的。数据量有时多,有时少,也是正常范围。其实可以配置transactionCapacity 和capacity
a1.channels.c1.transactionCapacity = 100  
a1.channels.c1.capacity = 1000  



如果想自定义开发,也是可以的,channel是固定的,恐怕不能自定义,可以自定义sink,其实也不复杂,就是开发完,打包,然后放到对应路径,就可以使用了。推荐参考
flume1.7如何实现自定义sink
http://www.aboutyun.com/forum.php?mod=viewthread&tid=23883




回复

使用道具 举报

nextuser 发表于 2018-1-28 21:04:38
不需要定义channel,定义sink即可。到哪个channel,有sink来决定。
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

推荐上一条 /2 下一条