Hi 各位战友，小弟今天测试了一下flume在非hbase节点的工作情况，结果启动出现了异常，之前在hbase节点之下是可以运行 ...

hongqianli 2015-7-30 11 26203

请教一下各位大神，在实际生产环境中 Flume的启动命令应该怎么写，前段时间一直学习flume都是直接输出日志到控制台的， 在 ...

hongqianli 2015-7-9 6 49620

问题来自about云群： sink往hdfs能汇集一定量的数据再向hdfs写吗？ 滚动方式有多种： 包括： 时间、文件大小、写入事件数目 ...

Alkaloid0515 2015-7-3 0 10523

以下是配置文件，在采集5M的文件的时候，到了300多KB。就自动完成了采集。。。。。。。。。 数据只有很少一部分在hdfs。刚接触 ...

zhangshuai 2015-7-1 3 31563

因在测试环境，想测试下flume，目的是监听本地a目录下新文件，实时放到本地b目录，测试环境没有hadoop集群。需要用什么配置文件 ...

aqi915 2015-6-19 12 80817

额，刚回复不成功么？ 我flume 的目的是：检测本地目录新文件（/home/see/seeupdate/blacklistOperRecord），将其搬到本地目 ...

aqi915 2015-6-20 1 18700

flume在1.6版本中推出了对速率和安全双保险的kafka channel，不知道大家有没有尝试过。

Murphy 2015-6-8 4 34743

flume在使用中选择了memorychannel，在设置capacity和transcapacity时应设置成多大，设置大小和性能之间有什么关系？请大神们解 ...

Murphy 2015-6-5 3 70108

目前的 spoolSource 只能支持对文件个数的增长的监控，不能做到实时监控，就算按照分钟滚动文件也是最多准实时，使用exc Tail ...

hongqianli588 2015-5-29 2 23473

如题，最近在用Flume来处理log4j日志，当通过avro接收后发现没有详细的异常堆栈，请假各位大神谁有解决方法。

Murphy 2015-5-25 1 19443

在Flume 配置中，Sink的参数batchSize会影响到整个流程的性能。比如说HDFS sink，它的参数称hdfs.batchSize，这样称呼是由于历 ...

arsenduan 2015-5-4 2 37772

运行flume-ng 命令时，抛出异常： line 81: syntax error in conditional expression: unexpected token `('

Alkaloid0515 2015-5-4 1 16842

日志出现“log4j:ERROR Flume append() failed.”，发现flume-ng-log4jappender-1.4.0有一个bug。详细，请查阅：https://issues ...

jixianqiuxue 2015-3-30 1 47096

通过cloudera manager添加flume服务，发现最多就是一台机一个flume agent。 打个比方我一个集群5台机的话，我最多就是添加5个ag ...

terryliu98 2015-3-2 7 32380

如题，请问如何在windows系统下使用flume-ng框架啊？

JustEnding 2015-1-22 8 25744

本人刚接触Flume，还不太熟悉，还望各位不吝赐教。 应用场景： 用Flume实时采集日志到HDFS，按小时切割目录。然后每小时定时 ...

Leyni 2015-1-22 3 24147

对于log4j格式的按小时滚动日志，如何进行实时监控呢？采用exec还是spool比较好呢？

shadowhtx 2014-7-17 21 72464

用的是hadoop2.5，flume1.5 flume采集写入hdfs，要求提高实时性，按一小时分文件不行，时间再短么小文件太多了 现在hdfs设了 ...

roywang1024 2015-1-15 6 24311

flume配置如下： [demoe3base@kf-app1 conf]$ cat flume-conf.conf # Finally, now that we've defined all of our component ...

u010363909 2013-10-16 10 16896

大家好： 我使用avro接口，那么source中每个event的数量是多少条？是否可以配置？ 假如说可以配置，那么配置成10条，那么如果进 ...

lixiaoliang7 2014-12-30 9 20011

大家好： 我的HIVE是数据是按天分区存储在HDFS中的。我的更新策略是120M，或者两小时flush一次数据。那么，可能存在数据跨天的 ...

lixiaoliang7 2014-12-25 7 18572

最近老是给了一个项目给我们，要我们用flume从路由器里抓取别人上网的信息并存贮下来，我对flume不是很了解，只知道是一个日志收 ...

xzm941012 2014-10-10 3 15117

已经搭建好一个集群，有6个节点，一号节点为namenode，二号节点为secondnamenode，三号节点为resourceMange, 四、五、六号节点为 ...

wkq_hadoop 2014-8-22 6 9986

我想用flumeng采集日志后发往jafka 然后java通过API 取出，请问怎么整合哦》？ 可否在JAVA直接从flumeng中取出数据

2278 2014-6-30 12 19190

环境：CDH5.0.2+flume1.4.0 flume使用SpoolSource监控生成的日志，但是考虑到目录下有大量业务日志生成，想对这些日志作个区分 ...

shadowhtx 2014-7-10 17 20808

源测试文件的数据格式： opcode1, col1:time2,24 opcode2, col2:time3,24 opcode1, col1:time1,25 opcode1, col1:time2,25 ...

aaa201012 2013-10-16 4 14353

有人遇到过这种问题吗，我按照网上的安装了32位包，可还是会报错 ，完整报错如下： bash: export FLUME_HOME=/home/grid/f ...

xzm941012 2014-10-13 4 15615

我现在考虑用flum做日志管理，有几个问题想问问做过的朋友： 1.flume对于远程文件，如果不采用agent方式，有什么好办法来保证日 ...

bwboy 2014-9-29 2 13975

最近公司有个需求，就是用flume将一文件夹下的许多小文件分类，自定义sink端持久化到数据库，但是遇到一个问题，就是那些被flume ...

hadoop小象 2014-5-28 8 69384