项目中需要将日志文件导入到hdfs中进行处理，由于日志内容较复杂，中间可能存在有xml这种结构化内容，不能对数据截断到两个文件 ...

gaobangsheng 2014-7-15 52 142042

flume 怎么可以自定义分目录存储和自定义日志文件名，目前使用的是直接存储文件的形式

semion 2014-9-9 21 105148

现在想获取应用的日志，监控一个目录，但是这个目录中的文件会一直变化，flume监控的目录下的文件不允许编辑，有什么办法实现？ ...

semion 2014-9-5 23 83328

本帖最后由 sstutu 于 2014-5-17 11:47 编辑 配置 用spooldir的source配置方式 到最后总报异常 大家有没有遇见过这中情 ...

sstutu 2014-5-17 18 73032

最近公司准备搭建日志分析平台，所有的日志从日志服务器上获得。日志从日志服务器到Hadoop集群的HDFS文件系统，这中间过程 ...

ablin 2015-11-4 18 46369

我的文件来源是每1-2分钟产生一个800M左右的文件，需要放到hdfs中， 我试下来flume最多每分钟处理400M左右，效率太低， Spooli ...

w9527 2015-3-15 17 167790

对于log4j格式的按小时滚动日志，如何进行实时监控呢？采用exec还是spool比较好呢？

shadowhtx 2014-7-17 21 72464

flume配置如下： [demoe3base@kf-app1 conf]$ cat flume-conf.conf # Finally, now that we've defined all of our component ...

u010363909 2013-10-16 10 16896

想确定一下一台机器到底能不能运行多个agents，也没有找到相关的官方文档。我自己实验了一下 自定义的source和sink，channel使 ...

shadowhtx 2014-8-4 9 20253

使用spooldir配置，读取本地目录的文件，并使用avro sink 远程的机器，最近老是报错，异常信息如下 ：01 Aug 2017 10:36:00,957 ...

hasqjh7 2017-8-2 15 17042

下面是我的配置 agent1.sources=source1 agent1.sinks=sink1 agent1.channels=channel1 #配置source1 agent1.sources.s ...

Hentai 2016-9-20 17 33351

一开始数据可以实时录入，可是一段时间后，就出问题了，日志已经产生到了12:00，而数据入es才到11:30，差了30分钟，请高手帮看一 ...

以梦为马 2014-9-17 9 25146

在大量日志情况下 flume收集日志跟不上处理日志的速度 就会造成日志堆积 需求： 我这里是有一个工具 会每10秒检测这个/home/g ...

请叫我野区养猪 2015-9-9 18 27416

因在测试环境，想测试下flume，目的是监听本地a目录下新文件，实时放到本地b目录，测试环境没有hadoop集群。需要用什么配置文件 ...

aqi915 2015-6-19 12 80817

为了集群的管理Cloudera Manager，并安装CDH的flume1.5.0，现在我需要把第三方插件加入flume1.5.0中并引用，该怎么做呢？我直接 ...

shadowhtx 2014-7-23 8 44016

通过CDH5搭建了一个集群（节点分别为：A.1，A.2，A.3），但没有添加flume服务。 有三个web服务器（B.1，B.2，B.3）产生日志，我 ...

zeus_lhl 2016-7-20 8 18838

环境：CDH5.0.2+flume1.4.0 flume使用SpoolSource监控生成的日志，但是考虑到目录下有大量业务日志生成，想对这些日志作个区分 ...

shadowhtx 2014-7-10 17 20808

由于公司业务需要，我需要通过flume监控日志上传到solr服务器，目前这一步已经做到 但是最终的目的还没有达成，遇到了点问题。 ...

mjjian0 2014-6-18 10 25642

请教一下，如果是用flume的exec方式去实时监控日志文件的话，那就意味着只能监控一个文件，那么如果我的日志文件是用tomcat生成 ...

ximenchuixuesun 2015-7-29 7 87730

用flume收集mapreduce的日志到hdfs（通过在log4j配置文件里面增加一个到flume的appender），怎么让一个hadoop jar *命令产生一个 ...

shlp 2015-11-25 11 20419

情况是这样的： 线上flume监控目录里有文件mallshop_access.log 198.98M，由于一些原因需重启flume，重启后，flume采集mallsh ...

mjjian0 2014-11-24 6 60897

使用taildir监听一个目录，出现报错: 2017-11-11 00:22:18,468 (lifecycleSupervisor-1-0) [ERROR - org.apache.flume.source.t ...

李建昊 2017-11-10 4 24656

flume source 段json字符串，现在想把它转换成普通的字符串，存储到hdfs或者hive中，怎么做呢？我用的flume，但不太会，现在拿到 ...

zeus_lhl 2016-10-27 6 31655

1、flume1.8是否可以解决多级目录检索？2、如图，利用1.8TAILDIR监听多个目录，执行时没有报错，但是不能监听这俩个目录，请问是 ...

wx_iF3i37z7 2018-12-11 22 11459

我想让第一个agent的sink 直接作为第二个agent的source该怎么配置呢？有配过这种方式的朋友吗？

Hentai 2016-9-27 8 12800

情况是这样的： 公司应用服务器在阿里云，hadoop集群在我们公司内网。 现在要把我们应用服务器日志通过flume采集到内网hdfs。 ...

mjjian0 2017-3-23 4 14982

我现在使用的是CentOS 7, flume 1.5.0官方原版. 如果我把flume安装在hadoop的机器上,则flume就能正常写入日志到hdfs当中.如果 ...

gm100861 2016-2-29 2 17279

如题，请问如何在windows系统下使用flume-ng框架啊？

JustEnding 2015-1-22 8 25744

tomcat下的工程，原来一切正常，现在准备在log4j中加入flume支持，系统就无法登录了，具体情况如下：

yjy4 2017-8-15 3 5696

我们需要从其他地方获取redis的消息队列，格式为json.对方不愿意改成普通的日志文件格式。 那么，我可以通过flume获取吗？该怎 ...

师太跟我吧 2016-9-13 6 17977