1、本程序一共用了三台集群搭建集群，这三台机器的Hostname分别为master、node1、node2；master机器是Hadoop以及Hbase集群的ma ...

huangrenyi 2020-6-4 0 2256

flume1.8是否可以监听的同时打印此时监听的精准时间？ apache commons io和flume监听文件夹变化各自的优缺点？ 求大神给我一些 ...

wx_rLynkyG4 2018-12-18 8 4638

1、flume1.8是否可以解决多级目录检索？2、如图，利用1.8TAILDIR监听多个目录，执行时没有报错，但是不能监听这俩个目录，请问是 ...

wx_iF3i37z7 2018-12-11 22 11459

avro-memory-logger.sources = avro-source avro-memory-logger.sinks = logger-sink avro-memory-logger.channels = memory-c ...

王汉声 2018-9-27 1 3808

a1.sources=r1 a1.channels=c1 a1.sinks=k1 a1.sources.r1.type=spooldir a1.sources.r1.spoolDir=/home/training/Desktop ...

你微笑时很美呀 2018-8-28 1 5844

这是错误： 18/08/16 23:44:05 INFO node.AbstractConfigurationProvider: Created channel c1 18/08/16 23:44:05 INFO source ...

你微笑时很美呀 2018-8-17 3 6713

两个agent消费同一个kafka的topic，写入都到各自的hdfs文件夹中如何实现？ 补充下，不启用flume的replicating功能，主要考虑最 ...

高兴生活 2018-6-28 4 8701

[mw_shl_code=shell,true]Java HotSpot(TM) 64-Bit Server VM warning: ignoring option MaxPermSize=256M; support was removed ...

努力搬砖不喊累 2018-6-25 2 7282

flume 要实现远程采集， 采集端投递日志信息如下： 请大神帮忙，为什么flume老是连接失败，不在hdfs上存放新文件呢？

努力搬砖不喊累 2018-6-20 5 10068

只是少部分文件损坏,mapreduce任务会终止,解压结果比压缩文件小很多?

jinwensc 2018-5-29 6 10080

本想搭建一个 flume+hdfs+kafka+storm+mysql 的日志实时分析和存储的系统，但是flume日志收集这块一直不通，查看flume的日志也没 ...

qing_D7BWs 2018-5-12 5 7208

微信搜索关注：若泽大数据，有精美课程和定时推送技术博客，qq交流群：707635769，一起交流，一起进步 一、概念 1、Flum ...

ruozedashuju 2018-4-8 0 9308

现象：sink是kafka,有时候人为的停止kafka服务，导致各个flume端报错，当启动kafka，flume可以正常恢复，但长时间不启动kafka（N ...

evababy 2018-4-2 6 12105

各位前辈好：由于公司业务需要：flume如何自定义channel？比如：我的sink速度太慢，就将event收集到file中；sink速度太快，就收 ...

ltxhxpdd 2018-1-28 2 9051

现在用intelJIDEA 开发的项目，配置flume文件中，不识别冒号，主机名和ip都不行。 大家谁见过这个错误，什么鬼，影响程序运行 ...

yunge2016 2017-11-14 2 5918

使用taildir监听一个目录，出现报错: 2017-11-11 00:22:18,468 (lifecycleSupervisor-1-0) [ERROR - org.apache.flume.source.t ...

李建昊 2017-11-10 4 24656

[mw_shl_code=java,true]标准错误: /var/lib/ambari-agent/data/errors-1444.txt Traceback (most recent call last): ...

welcome 2017-11-1 2 8226

bin/conf/avro-kafka.conf SLF4J: Class path contains multiple SLF4J bindings. SLF4J: Found binding in [jar:file:/home/s ...

你的眼睛会笑i 2017-10-24 1 16666

请问下flume否可以监控一个目录下的所有子文件中的日志，并把子文件夹、日志一起传输到另外一台服务器上？

livy 2017-10-13 4 4818

版本flume1.7.0 , es 5.5.2，es 5.4.3 已经把es下的lib所有jar都扔到flume下的lib 两个版本都试了 ，一直报错 , 大神们帮忙看 ...

J20_果农 2017-8-24 1 13884

问题描述: 做项目需要采集数据到ｈｄｆｓ里，用flume采集的数据，文件比较大300多MB，采集到一半，突然报错了。 错误: 2017-08 ...

yunge2016 2017-8-24 4 9393

tomcat下的工程，原来一切正常，现在准备在log4j中加入flume支持，系统就无法登录了，具体情况如下：

yjy4 2017-8-15 3 5696

tomcat服务，服务端口为8085,原来的访问地址是http://localhost:8085/zspt 但是启动flume后，config配置文件监听8085端口，网站 ...

yjy4 2017-8-9 4 10103

数据格式 2017-08-02 13:10:19.094|HSFBizProcessor-5-thread-155|DEBUG|setMember begin typeId=[qps_push_waybill], key=[ ...

小新嘟嘟 2017-8-4 6 6610

使用spooldir配置，读取本地目录的文件，并使用avro sink 远程的机器，最近老是报错，异常信息如下 ：01 Aug 2017 10:36:00,957 ...

hasqjh7 2017-8-2 15 17042

报错代码 17/07/02 18:43:11 INFO avro.ReliableSpoolingFileEventReader: Last read took us just up to a file boundary. Rol ...

yunge2016 2017-7-2 3 8661

现在配置好了集群环境，zookeeper和kafka也启动了。具体的流程不太清楚。监控的是本地的目录。目录下上传了一个txt文件。然后怎 ...

yunge2016 2017-6-4 3 12371

Channel有2个队列容量配置，分别是capacity和transactionCapacity。capacity是MemoryChannel里的阻塞队列的容量，同时也是事件 ...

einhep 2017-5-6 0 8823

我第一层用kafka收集数据，然后通过一台接口服务器flume收集第一层kafka的数据，并将数据传输到CDH集群的kafka中。我的flume的ch ...

zstu 2017-4-12 3 6792

环境： 单节点：32G内存，一个agent 使用flume日志采集实时生成的日志文件信息时，在某个流量高峰时间段（一个小时产生7G-10 ...

J20_果农 2017-4-7 2 20055