Flume传入HDFS大文件变成小文件

大家好，第一次发帖，请多多支持。
公司正准备开始使用Hadoop，只是在试验中，所以现在研究Hadoop的只有我一个人，历经了千辛万苦终于将Hadoop集群安装好了，但是在Flume将数据源导入HDFS出现了错误，本来一个文件有大约70M，但是传入HDFS中变成了若干个小文件。，请大神们帮我看看这是怎么回事？我也是醉了、原来用的是memory,但是老是提示内存不足，所以只能用File模式。

rollSize太大了。
rollInterval滚动时间可以尝试60 120 500等参数，文件应该有变化

qcbb001 发表于 2016-8-4 12:54
rollSize太大了。
rollInterval滚动时间可以尝试60 120 500等参数，文件应该有变化

你好，我把rollSize改小了，将rollInterval改成500，过然比原来强好多。。。。但是好像传的速度特别慢，该怎么样提升传输速度那。

sunshaojie130 发表于 2016-8-4 14:56
你好，我把rollSize改小了，将rollInterval改成500，过然比原来强好多。。。。但是好像传的速度特别慢， ...

flume有三种滚动方式。
1.按照时间
2.按照大小
3.按照count.
如果时间不合适。楼主可以按照大小来滚动，比如70M
rollsize=70M ，当然这里记得换算单位