Hentai 发表于 2016-11-16 17:20:39

flume发送数据到kafka如何设置异步发送？

例如设置成producer每5分钟发送一次数据，求各位指点

langke93 发表于 2016-11-16 17:35:33

flume滚动方式有三种，时间，个数，大小。
楼主可以设置按照时间滚动，设置为5分钟

qcbb001 发表于 2016-11-16 18:43:35

如果kafka定时，可以参考这个
kafka 生产者如何持续读取数据
http://www.aboutyun.com/forum.php?mod=viewthread&tid=17933


Hentai 发表于 2016-11-17 14:22:05

langke93 发表于 2016-11-16 17:35
flume滚动方式有三种，时间，个数，大小。
楼主可以设置按照时间滚动，设置为5分钟

kafka sink 哪个属性是按照时间滚动的？我貌似没有找到

Hentai 发表于 2016-11-17 14:25:00

qcbb001 发表于 2016-11-16 18:43
如果kafka定时，可以参考这个
kafka 生产者如何持续读取数据
http://www.aboutyun.com/forum.php?mod=vie ...

我看了一下 这个和我的问题好像不一样，我的意思是 kafka一直在接受数据，但是是每隔5分钟给consumer发送数据

m331283153 发表于 2017-2-13 11:51:00

producer有个参数linger.ms就是控制延迟发送的，但如果消息大小超过了你设置的batch.size也会立即发送
页: [1]
查看完整版本: flume发送数据到kafka如何设置异步发送？