Flume1.5.0入门：安装、部署、及flume的案例

案例8)至案例11)这几个案例中，数据流向都是systcp→avro→logger，每个host都是启动了两个agent，为什么不只启动一个agent，把数据systcp直接到logger呢？是有别的将就还是只是为了展示一下flume的sink可以做为下一个agent的source源？

log4j:WARN No appenders could be found for logger (org.apache.flume.api.NettyAvroRpcClient).
log4j:WARN Please initialize the log4j system properly.
log4j:WARN See http://logging.apache.org/log4j/1.2/faq.html#noconfig for more info.

感谢楼主分享，确实是非常棒的flume入门指南。赞！

我在试验时发现，接收到的数据在控制台上的显示是被截断，不完整的（只显示16个字母），请问这是什么原因呢？

请问Flume NG 启动的时候LOG4J不输出内容是怎么回事儿？在一台安装了HIVE、HBASE、HADOOP（也就是Hadoop 的 Namenode）上因为配置了HIVE等环境变量，LOG日志是输出的，但是在其他机器上没有数据，求解。

andy_ghg 发表于 2016-1-26 17:31
请问Flume NG 启动的时候LOG4J不输出内容是怎么回事儿？在一台安装了HIVE、HBASE、HADOOP（也就是Hadoop 的 ...

好了，关于 Flume NG 1.6 无法输出日志到控制台的问题已经解决。
解决方法：
在 Flume目录下（而不是在conf目录下）执行命令时加上 -c conf参数即可，例如：

nohup flume-ng agent -c conf -f conf/xxx.conf -n webserv -Dflume.root.logger=DEBUG,console &

注意其中的 -f conf/xxx.conf，这里的目录一定要对，否则日志会报错。

你好，我想问一下，如果想要flume  spool  监控远程目录是否可以？

shenkshenw 发表于 2016-2-17 15:39
你好，我想问一下，如果想要flume  spool  监控远程目录是否可以？

目前还没发现，可以自己自定义开发个

很好的参考，学习了

请教版主，我目前做的是用Spooling directory source的自定义扩展作为source，memory channel作为channel，自定义sink，但是监控目录文件处理不过来怎么搞？有没有提高效率的方法