现在想获取应用的日志，监控一个目录，但是这个目录中的文件会一直变化，flume监控的目录下的文件不允许编辑，有什么办法实现？ ...

semion 2014-9-5 23 83328

大家好，第一次发帖，请多多支持。 公司正准备开始使用Hadoop，只是在试验中，所以现在研究Hadoop的只有我一个人，历经了千辛万 ...

sunshaojie130 2016-8-4 3 12197

通过CDH5搭建了一个集群（节点分别为：A.1，A.2，A.3），但没有添加flume服务。 有三个web服务器（B.1，B.2，B.3）产生日志，我 ...

zeus_lhl 2016-7-20 8 18838

使用flume，如何保证source的各个文件在sink出去之后依然是这些文件？比如监控一个目录，写到hdfs上，如何保证写到hdfs上文件大 ...

sun 2016-7-14 2 9939

项目中需要将日志文件导入到hdfs中进行处理，由于日志内容较复杂，中间可能存在有xml这种结构化内容，不能对数据截断到两个文件 ...

gaobangsheng 2014-7-15 52 142042

我在A机器上装有flume（A中并不在hadoop集群中），想要上传到装有CDH的B中（B中并没有装flume agent），运行报错如下： java.la ...

pandatyut 2016-6-27 5 23292

如题，现在采用tcpsyslogsource+kafkaChannel+kafkaSink结构，应该如何配置使用？

Murphy 2015-6-8 6 43351

想确定一下一台机器到底能不能运行多个agents，也没有找到相关的官方文档。我自己实验了一下 自定义的source和sink，channel使 ...

shadowhtx 2014-8-4 9 20251

使用flume从rsyslog tcp 收信息，写入到hdfs中。 flume的配置如下： [mw_shl_code=xml,true]# Please paste flume.conf here. ...

grinsky 2016-6-22 1 7010

小弟我这边搭建flume+kafka，将flume接收到的数据sink到kafka中，flume报异常，而kafka的消费端则不停的循环收到相同的数据。我 ...

zhangjiajie 2016-6-12 2 21525

在项目中发现将一个44M的数据通过flume写入hdfs中，但是hdfs中的数据只有563.74 KB，求指教。下面是我的配置和结果截图。 这 ...

zhangjiajie 2016-5-27 3 9502

最近公司准备搭建日志分析平台，所有的日志从日志服务器上获得。日志从日志服务器到Hadoop集群的HDFS文件系统，这中间过程 ...

ablin 2015-11-4 18 46369

铜锁Spooldir收集为什么日志存储到HDFS上的时候,把内容分为很多个 log 存储,而且每个log的size存储的内容才 653B; 如图 发送 ...

神豪。 2016-3-31 4 7487

使用flume采集数据一个文件10m左右,1小时14G左右 用spooldir做source,直接存入hdfs, 问题一: SpoolDirectorySource总是出现 ...

张璐 2016-3-7 7 39178

我现在使用的是CentOS 7, flume 1.5.0官方原版. 如果我把flume安装在hadoop的机器上,则flume就能正常写入日志到hdfs当中.如果 ...

gm100861 2016-2-29 2 17279

看到1.6版本支持kafkaChannel想用下，但是只要配置了sink就会报错，配置如下： 报错信息： 试了很多办法都没能解决， ...

guoxiaokai527 2016-2-19 7 20359

启动flume过一段时间就会报这个异常，请问该如何处理~~ (org.apache.flume.sink.hdfs.BucketWriter$4.call:387) - Closing ...

zhouyan8603 2016-2-3 2 13632

我现在有很多台web服务器，日志都是通过syslog记录的，我现在需要通过flume采集syslog到hdfs，我计划是每台服务器部署一个fl ...

林中小草 2016-2-1 2 16377

场景：安卓手机日志收集与分析 通过大量测试机自动/人工手动上传日志，日志数据量较大、日志产生频繁，暂定为所有日志存储在HDF ...

Lillard 2016-1-13 4 11886

第二层的agent可以通过sinkgroups的failover和load_balance来保证，可是直接接收数据流的agent挂了怎么办？想过用两个以上的agen ...

Fortitude 2016-1-13 2 10023

最近被老大安排做一些日志收集的工作，完全不懂，用到了flume这个工具，有几个问题想请教一下：1、flume 如果从不同的应用中获取 ...

recotone 2016-1-7 1 5906

这几天，flume 老是自动停机。是这样的，我们每天4点半下班，下班之前flume一切正常，第二天来公司查看flume总会发 ...

ablin 2015-12-19 1 8936

用flume收集mapreduce的日志到hdfs（通过在log4j配置文件里面增加一个到flume的appender），怎么让一个hadoop jar *命令产生一个 ...

shlp 2015-11-25 11 20418

用flume接收http请求的json测试了下并发很低。不知道谁用过没？大概单机能到多少并发响应是合理值呢。自己写程序测试比flume高了 ...

nlallen 2015-10-28 2 13000

flume怎么按实际数据里的时间字段来分区写入hdfs目录？比如监控文件，文件里的数据第一个字段是时间信息，或者我要监控的文件名 ...

louiscool2 2015-10-23 4 26404

一开始数据可以实时录入，可是一段时间后，就出问题了，日志已经产生到了12:00，而数据入es才到11:30，差了30分钟，请高手帮看一 ...

以梦为马 2014-9-17 9 25146

在大量日志情况下 flume收集日志跟不上处理日志的速度 就会造成日志堆积 需求： 我这里是有一个工具 会每10秒检测这个/home/g ...

请叫我野区养猪 2015-9-9 18 27416

求solr+flume的搭建文档，不依赖于hdfs，用于分析日志

jinyan2049 2015-8-25 2 15648

请教一下，如果是用flume的exec方式去实时监控日志文件的话，那就意味着只能监控一个文件，那么如果我的日志文件是用tomcat生成 ...

ximenchuixuesun 2015-7-29 7 87730