分享

flume写文件到hdfs中,文件过小

本帖最后由 zhangjiajie 于 2016-5-27 11:01 编辑

在项目中发现将一个44M的数据通过flume写入hdfs中,但是hdfs中的数据只有563.74 KB,求指教。下面是我的配置和结果截图。
QQ截图20160527105826.png
这个是上传结果
QQ截图20160527110008.png

已有(3)人评论

跳转到指定楼层
nextuser 发表于 2016-5-27 12:00:04


1.png

滚动方式改一下
回复

使用道具 举报

nextuser 发表于 2016-5-27 12:03:07

rollsize或则其它roll*
回复

使用道具 举报

zhangjiajie 发表于 2016-6-12 10:59:27
添加了“idleTimeout=60”就解决了。当60s没有数据时关闭文件。
不知道是什么原因,感觉与这个应该没有关系吧。
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

推荐上一条 /2 下一条