关于flume的channel的选择问题
各位前辈好：由于公司业务需要：flume如何自定义channel？比如：我的sink速度太慢，就将event收集到file中；sink速度太快，就收集到memory中；从而实现flume收集系统的稳定性。前辈们，我的这种想法能否实现?如果能实现，是怎么实现的呢？
本帖最后由 langke93 于 2018-1-28 19:17 编辑
有两个方案：1.其实flume应该还是稳定的。数据量有时多，有时少，也是正常范围。其实可以配置transactionCapacity 和capacity
a1.channels.c1.transactionCapacity = 100
a1.channels.c1.capacity = 1000
如果想自定义开发，也是可以的，channel是固定的，恐怕不能自定义，可以自定义sink，其实也不复杂，就是开发完，打包，然后放到对应路径，就可以使用了。推荐参考
flume1.7如何实现自定义sink
http://www.aboutyun.com/forum.php?mod=viewthread&tid=23883
不需要定义channel，定义sink即可。到哪个channel，有sink来决定。
页:
[1]