专题 › Flume › 当流量增大的情况下，Flume提示警告信息问题

J20_果农 发表于 2017-4-7 10:03:32

当流量增大的情况下，Flume提示警告信息问题

本帖最后由 J20_果农 于 2017-4-7 10:05 编辑

环境：
单节点：32G内存，一个agent

使用flume日志采集实时生成的日志文件信息时，在某个流量高峰时间段（一个小时产生7G-10G文件大小），flume控制台会提示这样的警告信息。
请问这些警告信息一般是什么原因造成的？需要做哪些调整？
2017-04-07 09:28:06,213 (PollableSourceRunner-TaildirSource-s1) The channel is full or unexpected failure. The source will try again after 1000 ms
2017-04-07 09:38:19,798 (PollableSourceRunner-TaildirSource-s1) The channel is full or unexpected failure. The source will try again after 1000 ms
2017-04-07 09:41:15,258 (PollableSourceRunner-TaildirSource-s1) The channel is full or unexpected failure. The source will try again after 1000 ms

哈根达斯 发表于 2017-4-7 11:03:17

直接是由于当前的被采集文件过大导致。增大keep-alive的值。深层原因应该是文件采集速度和sink速度没有匹配好导致

langke93 发表于 2017-4-7 13:56:30

本帖最后由 langke93 于 2017-4-7 13:57 编辑

两种办法：
第一种：
增大batchSize，需要注意：batchSize不能小于transactionCapacity。也就是说如果二者相同，必须同时调整
第二种
增加 sinks
推荐第一种：
楼主调整参数，然后在看下。

查看完整版本: 当流量增大的情况下，Flume提示警告信息问题