flume写文件到hdfs中，文件过小

查看数: 9503 | 评论数: 3 | 收藏 0

关灯 | 提示：支持键盘翻页<-左右->

发布时间: 2016-5-27 11:00

本帖最后由 zhangjiajie 于 2016-5-27 11:01 编辑在项目中发现将一个44M的数据通过flume写入hdfs中，但是hdfs中的数据只有563.74 KB，求指教。下面是我的配置和结果截图。

zhangjiajie 发表于 2016-6-12 10:59:27

添加了“idleTimeout=60”就解决了。当60s没有数据时关闭文件。
不知道是什么原因，感觉与这个应该没有关系吧。

nextuser 发表于 2016-5-27 12:03:07

nextuser 发表于 2016-5-27 12:00
滚动方式改一下

rollsize或则其它roll*

nextuser 发表于 2016-5-27 12:00:04

滚动方式改一下

图文精华