请教各位 flume采集到的日志数据上传到hdfs上为什么会生成这么多小文件？

arsenduan 发表于 2016-9-20 15:57
在大，并且其它两个参数也变大或则直接去掉

重启了吗？所有的都改了吗

Hentai 发表于 2016-9-20 17:32
是flume不支持把数据写在同一个hdfs文件中吗？

你好，你这个问题解决了嘛请问

nevermind 发表于 2018-3-19 15:44
你好，你这个问题解决了嘛请问

flume可能有漏洞，一般来说控制三个滚动的方式即可。可在增加下面两个参数
agent1.sinks.sink1.hdfs.idleTimeout=60
agent1.sinks.sink1.hdfs.minBlockReplicas=1

desehawk 发表于 2018-3-19 15:53
flume可能有漏洞，一般来说控制三个滚动的方式即可。可在增加下面两个参数
agent1.sinks.sink1.hdfs.idl ...

我加了这两个参数，日志不会报Block Under-replication detected. Rotating file.这个了，但是还是一个一个小文件，请问是为什么呀。。

desehawk 发表于 2018-3-19 15:53
flume可能有漏洞，一般来说控制三个滚动的方式即可。可在增加下面两个参数
agent1.sinks.sink1.hdfs.idl ...

flume的版本是1.7的，日志不断显示创建文件，关闭文件，重命名去掉.tmp

nevermind 发表于 2018-3-19 16:19
flume的版本是1.7的，日志不断显示创建文件，关闭文件，重命名去掉.tmp

肯定跟你的配置有关系。贴出来看下

Hentai 发表于 2016-9-20 15:50
每次日志服务器传来一条日志信息 flume就会在hdfs上生成一个文件  有什么方法让它不生成文件 而是在原来的 ...

同样的问题，怎么解决呀？

spftoto 发表于 2018-11-15 16:32
同样的问题，怎么解决呀？

具体情况具体分析，先看看滚动的时间、个数、大小等不要设置过小。其它看日志。