两个agent消费同一个kafka的topic，写入都到各自的hdfs文件夹中如何实现？ 补充下，不启用flume的replicating功能，主要考虑最 ...

高兴生活 2018-6-28 4 8701

　1、本程序一共用了三台集群搭建集群，这三台机器的Hostname分别为master、node1、node2；master机器是Hadoop以及Hbase集群的ma ...

huangrenyi 2020-6-4 0 2256

我的场景是这样的 有多个个接口机接收压缩过的gz日志文件， 目前想用flume来采集gz 数据文件。 gunzip -c xxxlog.gz| ...

jdayco 2016-1-7 3 20138

使用taildir监听一个目录，出现报错: 2017-11-11 00:22:18,468 (lifecycleSupervisor-1-0) [ERROR - org.apache.flume.source.t ...

李建昊 2017-11-10 4 24656

我的文件来源是每1-2分钟产生一个800M左右的文件，需要放到hdfs中， 我试下来flume最多每分钟处理400M左右，效率太低， Spooli ...

w9527 2015-3-15 17 167790

1、flume1.8是否可以解决多级目录检索？2、如图，利用1.8TAILDIR监听多个目录，执行时没有报错，但是不能监听这俩个目录，请问是 ...

wx_iF3i37z7 2018-12-11 22 11459

flume1.8是否可以监听的同时打印此时监听的精准时间？ apache commons io和flume监听文件夹变化各自的优缺点？ 求大神给我一些 ...

wx_rLynkyG4 2018-12-18 8 4638

下面是我的配置 agent1.sources=source1 agent1.sinks=sink1 agent1.channels=channel1 #配置source1 agent1.sources.s ...

Hentai 2016-9-20 17 33351

avro-memory-logger.sources = avro-source avro-memory-logger.sinks = logger-sink avro-memory-logger.channels = memory-c ...

王汉声 2018-9-27 1 3808

我想让第一个agent的sink 直接作为第二个agent的source该怎么配置呢？有配过这种方式的朋友吗？

Hentai 2016-9-27 8 12800

a1.sources=r1 a1.channels=c1 a1.sinks=k1 a1.sources.r1.type=spooldir a1.sources.r1.spoolDir=/home/training/Desktop ...

你微笑时很美呀 2018-8-28 1 5844

这是错误： 18/08/16 23:44:05 INFO node.AbstractConfigurationProvider: Created channel c1 18/08/16 23:44:05 INFO source ...

你微笑时很美呀 2018-8-17 3 6713

[mw_shl_code=shell,true]Java HotSpot(TM) 64-Bit Server VM warning: ignoring option MaxPermSize=256M; support was removed ...

努力搬砖不喊累 2018-6-25 2 7282

flume 要实现远程采集， 采集端投递日志信息如下： 请大神帮忙，为什么flume老是连接失败，不在hdfs上存放新文件呢？

努力搬砖不喊累 2018-6-20 5 10068

只是少部分文件损坏,mapreduce任务会终止,解压结果比压缩文件小很多?

jinwensc 2018-5-29 6 10080

本想搭建一个 flume+hdfs+kafka+storm+mysql 的日志实时分析和存储的系统，但是flume日志收集这块一直不通，查看flume的日志也没 ...

qing_D7BWs 2018-5-12 5 7208

微信搜索关注：若泽大数据，有精美课程和定时推送技术博客，qq交流群：707635769，一起交流，一起进步 一、概念 1、Flum ...

ruozedashuju 2018-4-8 0 9308

现象：sink是kafka,有时候人为的停止kafka服务，导致各个flume端报错，当启动kafka，flume可以正常恢复，但长时间不启动kafka（N ...

evababy 2018-4-2 6 12105

为了集群的管理Cloudera Manager，并安装CDH的flume1.5.0，现在我需要把第三方插件加入flume1.5.0中并引用，该怎么做呢？我直接 ...

shadowhtx 2014-7-23 8 44016

各位前辈好：由于公司业务需要：flume如何自定义channel？比如：我的sink速度太慢，就将event收集到file中；sink速度太快，就收 ...

ltxhxpdd 2018-1-28 2 9051

使用spooldir配置，读取本地目录的文件，并使用avro sink 远程的机器，最近老是报错，异常信息如下 ：01 Aug 2017 10:36:00,957 ...

hasqjh7 2017-8-2 15 17042

flume 怎么可以自定义分目录存储和自定义日志文件名，目前使用的是直接存储文件的形式

semion 2014-9-9 21 105148

现在用intelJIDEA 开发的项目，配置flume文件中，不识别冒号，主机名和ip都不行。 大家谁见过这个错误，什么鬼，影响程序运行 ...

yunge2016 2017-11-14 2 5918

[mw_shl_code=java,true]标准错误: /var/lib/ambari-agent/data/errors-1444.txt Traceback (most recent call last): ...

welcome 2017-11-1 2 8226

bin/conf/avro-kafka.conf SLF4J: Class path contains multiple SLF4J bindings. SLF4J: Found binding in [jar:file:/home/s ...

你的眼睛会笑i 2017-10-24 1 16666

请问下flume否可以监控一个目录下的所有子文件中的日志，并把子文件夹、日志一起传输到另外一台服务器上？

livy 2017-10-13 4 4818

情况是这样的： 公司应用服务器在阿里云，hadoop集群在我们公司内网。 现在要把我们应用服务器日志通过flume采集到内网hdfs。 ...

mjjian0 2017-3-23 4 14982

由于公司业务需要，我需要通过flume监控日志上传到solr服务器，目前这一步已经做到 但是最终的目的还没有达成，遇到了点问题。 ...

mjjian0 2014-6-18 10 25642

问题描述: 做项目需要采集数据到ｈｄｆｓ里，用flume采集的数据，文件比较大300多MB，采集到一半，突然报错了。 错误: 2017-08 ...

yunge2016 2017-8-24 4 9393

版本flume1.7.0 , es 5.5.2，es 5.4.3 已经把es下的lib所有jar都扔到flume下的lib 两个版本都试了 ，一直报错 , 大神们帮忙看 ...

J20_果农 2017-8-24 1 13884