问题导读： 1、怎样创建符合条件的flume配置文件？ 2、怎样执行配置文件，开启监控？ 案例需求：实时监控Hive日志 ...

fc013 2021-6-5 0 2876

问题导读 1.为什么要用到Flume? 2.如何实现使用Flume将MySQL表数据实时抽取到hadoop？ 3.方案有什么优点和缺点？ ...

desehawk 2017-6-26 6 22842

问题导读 1.什么是Flume？2.Flume组成架构包括哪些？3.Flume拓扑结构是怎样的？4.Flume Agent内部原理是怎样的？5.Hadoop三大 ...

BGnv5 2019-4-13 5 13205

本帖最后由 nettman 于 2014-7-3 23:41 编辑 问题导读：1.Flume-NG与Scribe对比，Flume-NG的优势在什么地方？ 2.架构设计考虑 ...

nettman 2014-7-3 28 467671

本帖最后由 坎蒂丝_Swan 于 2015-1-12 14:17 编辑 问题导读 1.source端单event的body如何处理大于16字节的数据的？ 2.具体的 ...

坎蒂丝_Swan 2015-1-12 9 45397

问题导读：1.Flume的存在些什么问题？2.基于开源的Flume美团增加了哪些功能？3.Flume系统如何调优？ 在《基于Flume ...

nettman 2014-7-3 17 136736

本帖最后由 丫丫 于 2017-1-16 19:32 编辑 问题导航 1、如何防止Spark离线模型跑任务时，占用完集群所有资源？ 2、大 ...

丫丫 2017-1-16 8 61251

问题导读 1.什么是flume 2.flume的官方网站在哪里？ 3.flume有哪些术语？ 4.如何配置flume数据源码？ 　　一、 ...

pig2 2014-8-26 82 377746

本帖最后由 pig2 于 2014-6-2 02:10 编辑 导读： 1.什么是channel？ 2.什么是source？ 3.什么是sink？ 4.直接读取文件So ...

pig2 2014-4-17 8 114100

本帖最后由 pig2 于 2014-7-16 02:56 编辑 问题导读： 1.什么是flume？ 2.如何安装flume？ 3.flume的配置文件与其它软件有 ...

pig2 2014-6-2 32 152554

问题导读 1.flume source目录是哪个？ 2.flume在kafka中扮演什么角色？ 3.如何测试配置是否成功？ 接上篇flume与kaf ...

pig2 2017-7-10 7 19853

本帖最后由 xuanxufeng 于 2017-3-26 18:26 编辑 问题导读 1.flume滚动配置为何不起作用？ 2.通过源码分析得出什么原因？ ...

xuanxufeng 2017-3-26 8 31796

问题导读： 1.哪些配置影响着hdfs文件的关闭?2.HDFS Sink中每次都会触发的事件是什么？3.HDFS Sink中参数的优先级是怎样的 ...

fc013 2017-4-1 5 35740

问题导读 1.实现自定义sink需要继承哪个类？ 2.本文实现了什么功能？ 3.开发完成后，如何配置使用？ 用户不 ...

langke93 2018-1-28 1 12553

本帖最后由 pig2 于 2017-10-13 14:53 编辑 问题导读 1.对于不断追加的文件可以使用flume哪个属性？ 2.对于不断追加的文件及 ...

pig2 2017-8-21 5 24321

本帖最后由 pig2 于 2017-7-10 19:41 编辑 问题导读 1.安装kafka是否需要安装zookeeper？ 2.kafka安装需要哪些步骤？ 3. ...

pig2 2017-7-9 6 19183

问题导读 1.flume的配置你是如何理解的？ 2.flume与kafka整合，kafka可以做哪些组件？ 3.flume与kafka的区别是什么？ fl ...

pig2 2017-7-3 11 17597

问题导读： 1.Flume有哪些优势？2.为什么要对Flume日志收集系统进行分层设计？3.怎样构建一个相对复杂的Flume分层日志收集系 ...

fc013 2016-3-20 5 22654

问题导读 1、如何修改修改getNextFile方法？ 2、SpoolingFileLineReader类怎样增加方法？ 原有的spooling source的方 ...

xioaxu790 2014-7-16 9 29966

1. 日志文件每天roate一个新文件 a) 方案一 There is no way the tail command itself can automatically switch to the new ...

desehawk 2017-6-5 4 12132

Kafka 与 Flume 很多功能确实是重复的。以下是评估两个系统的一些建议： Kafka 是一个通用型系统。你可以有许多的生产者和消费 ...

desehawk 2017-4-18 16 16222

问题导读 1.transactionCapacity的作用啊？ 2.batchSize又是干啥的啊？ 3.什么情况下，事务会提交，事务提交做了什么呢？ ...

hyj 2015-6-5 3 40473

本帖最后由 坎蒂丝_Swan 于 2015-3-19 22:12 编辑 问题导读 1.如何理解将FTP上的信令数据汇聚到HDFS上去存储？2.使用Spooling ...

坎蒂丝_Swan 2015-3-19 4 110543

本帖最后由 坎蒂丝_Swan 于 2015-3-19 22:08 编辑 问题导读 1.遇到无法转换成JSON对象的字符串时应如何处理？ 2.遇到 ...

坎蒂丝_Swan 2015-3-18 1 52937

现在的需求是在一台Flume采集机器上，往Hadoop集群上写HDFS，该机器没有安装Hadoop。 这里的Flume版本是1.6.0，Hadoop版本是2 ...

yuwenge 2016-11-18 2 16568

问题导读 1.如何配置maven获取源码？ 2.本文认为flume启动包含哪两个步骤？ 3.源码如何实现获取启动配置的？ 1 ...

desehawk 2017-2-27 3 15490

本帖最后由 坎蒂丝_Swan 于 2015-3-19 22:10 编辑 问题导读 1.如何使用event header中的key值？ 2.如何部署扩展自定义的sp ...

坎蒂丝_Swan 2015-3-18 5 139508

可以带着下面问题来阅读本文章 1.Flume如何保证数据正确性 2.Flume有哪些自带的数据源 3.Flume特性有哪些 4.flume与hadoop的 ...

lzw 2013-12-23 4 63165

本帖最后由 坎蒂丝_Swan 于 2015-1-12 14:16 编辑 问题导读 1.Flume-ng生产环境如何搭建？ 2.flume-ng分布式日志是用来干什 ...

坎蒂丝_Swan 2015-1-12 5 50628

本帖最后由 pig2 于 2014-5-29 14:33 编辑 问题导读： 1.需要修改那些文件？ 2.如何测试整合成功？ 3.兼容问题该如何解决？ ...

howtodown 2014-4-17 8 36364