项目中需要将日志文件导入到hdfs中进行处理，由于日志内容较复杂，中间可能存在有xml这种结构化内容，不能对数据截断到两个文件 ...

gaobangsheng 2014-7-15 52 142042

现在想获取应用的日志，监控一个目录，但是这个目录中的文件会一直变化，flume监控的目录下的文件不允许编辑，有什么办法实现？ ...

semion 2014-9-5 23 83328

1、flume1.8是否可以解决多级目录检索？2、如图，利用1.8TAILDIR监听多个目录，执行时没有报错，但是不能监听这俩个目录，请问是 ...

wx_iF3i37z7 2018-12-11 22 11459

对于log4j格式的按小时滚动日志，如何进行实时监控呢？采用exec还是spool比较好呢？

shadowhtx 2014-7-17 21 72464

flume 怎么可以自定义分目录存储和自定义日志文件名，目前使用的是直接存储文件的形式

semion 2014-9-9 21 105148

本帖最后由 sstutu 于 2014-5-17 11:47 编辑 配置 用spooldir的source配置方式 到最后总报异常 大家有没有遇见过这中情 ...

sstutu 2014-5-17 18 73032

最近公司准备搭建日志分析平台，所有的日志从日志服务器上获得。日志从日志服务器到Hadoop集群的HDFS文件系统，这中间过程 ...

ablin 2015-11-4 18 46369

在大量日志情况下 flume收集日志跟不上处理日志的速度 就会造成日志堆积 需求： 我这里是有一个工具 会每10秒检测这个/home/g ...

请叫我野区养猪 2015-9-9 18 27416

环境：CDH5.0.2+flume1.4.0 flume使用SpoolSource监控生成的日志，但是考虑到目录下有大量业务日志生成，想对这些日志作个区分 ...

shadowhtx 2014-7-10 17 20808

我的文件来源是每1-2分钟产生一个800M左右的文件，需要放到hdfs中， 我试下来flume最多每分钟处理400M左右，效率太低， Spooli ...

w9527 2015-3-15 17 167790

下面是我的配置 agent1.sources=source1 agent1.sinks=sink1 agent1.channels=channel1 #配置source1 agent1.sources.s ...

Hentai 2016-9-20 17 33351

使用spooldir配置，读取本地目录的文件，并使用avro sink 远程的机器，最近老是报错，异常信息如下 ：01 Aug 2017 10:36:00,957 ...

hasqjh7 2017-8-2 15 17042

因在测试环境，想测试下flume，目的是监听本地a目录下新文件，实时放到本地b目录，测试环境没有hadoop集群。需要用什么配置文件 ...

aqi915 2015-6-19 12 80817

我想用flumeng采集日志后发往jafka 然后java通过API 取出，请问怎么整合哦》？ 可否在JAVA直接从flumeng中取出数据

2278 2014-6-30 12 19190

Hi 各位战友，小弟今天测试了一下flume在非hbase节点的工作情况，结果启动出现了异常，之前在hbase节点之下是可以运行 ...

hongqianli 2015-7-30 11 26203

flume报的这个错误

Hentai 2016-9-29 11 17870

tail 采集日志入库，flume-ng跑一段时间后取到的日志不完整了，，一条数据 前面被截了几十个字符采集日志为nginx 日志一条 大约 ...

2278 2014-7-17 11 19417

用flume收集mapreduce的日志到hdfs（通过在log4j配置文件里面增加一个到flume的appender），怎么让一个hadoop jar *命令产生一个 ...

shlp 2015-11-25 11 20418

由于公司业务需要，我需要通过flume监控日志上传到solr服务器，目前这一步已经做到 但是最终的目的还没有达成，遇到了点问题。 ...

mjjian0 2014-6-18 10 25642

flume配置如下： [demoe3base@kf-app1 conf]$ cat flume-conf.conf # Finally, now that we've defined all of our component ...

u010363909 2013-10-16 10 16896

想确定一下一台机器到底能不能运行多个agents，也没有找到相关的官方文档。我自己实验了一下 自定义的source和sink，channel使 ...

shadowhtx 2014-8-4 9 20251

一开始数据可以实时录入，可是一段时间后，就出问题了，日志已经产生到了12:00，而数据入es才到11:30，差了30分钟，请高手帮看一 ...

以梦为马 2014-9-17 9 25146

我不想用自增的行键该怎么弄？求各位朋友解答一下

Hentai 2016-9-22 9 15357

大家好： 我使用avro接口，那么source中每个event的数量是多少条？是否可以配置？ 假如说可以配置，那么配置成10条，那么如果进 ...

lixiaoliang7 2014-12-30 9 20011

flume1.8是否可以监听的同时打印此时监听的精准时间？ apache commons io和flume监听文件夹变化各自的优缺点？ 求大神给我一些 ...

wx_rLynkyG4 2018-12-18 8 4638

我想让第一个agent的sink 直接作为第二个agent的source该怎么配置呢？有配过这种方式的朋友吗？

Hentai 2016-9-27 8 12800

通过CDH5搭建了一个集群（节点分别为：A.1，A.2，A.3），但没有添加flume服务。 有三个web服务器（B.1，B.2，B.3）产生日志，我 ...

zeus_lhl 2016-7-20 8 18838

如题，请问如何在windows系统下使用flume-ng框架啊？

JustEnding 2015-1-22 8 25744

为了集群的管理Cloudera Manager，并安装CDH的flume1.5.0，现在我需要把第三方插件加入flume1.5.0中并引用，该怎么做呢？我直接 ...

shadowhtx 2014-7-23 8 44016

最近公司有个需求，就是用flume将一文件夹下的许多小文件分类，自定义sink端持久化到数据库，但是遇到一个问题，就是那些被flume ...

hadoop小象 2014-5-28 8 69384