flume 如何采集gz 文件

我的场景是这样的

有多个个接口机接收压缩过的gz日志文件，
目前想用flume来采集gz 数据文件。

gunzip -c xxxlog.gz|nc localhost 7777

这种方式推送给flume，目前发现效率较低。一般10G文件要20分钟左右才能搞完。
并行开启多个nc 推送效率一样不怎么样.

有没大牛有好的方案。

zxmit · 发表于 2016-1-7 14:37:07

启动多个agent会怎么样呢？

atsky123 · 发表于 2016-1-7 15:02:09

flume还没发现这种源，除非自己写个试试

morty · 发表于 2020-4-16 15:04:14

楼主解决了没有，遇到一样的问题

图文精华

flume 如何采集gz 文件

相关帖子

已有(3)人评论

推荐 /2