Fortitude
发表于 2015-12-25 10:30:18
案例8)至案例11)这几个案例中,数据流向都是systcp→avro→logger,每个host都是启动了两个agent,为什么不只启动一个agent,把数据systcp直接到logger呢?是有别的将就还是只是为了展示一下flume的sink可以做为下一个agent的source源?
神豪。
发表于 2016-1-9 14:22:49
log4j:WARN No appenders could be found for logger (org.apache.flume.api.NettyAvroRpcClient).
log4j:WARN Please initialize the log4j system properly.
log4j:WARN See http://logging.apache.org/log4j/1.2/faq.html#noconfig for more info.
zhangjiajie
发表于 2016-1-13 23:15:19
感谢楼主分享,确实是非常棒的flume入门指南。赞!
zhangjiajie
发表于 2016-1-14 16:46:45
我在试验时发现,接收到的数据在控制台上的显示是被截断,不完整的(只显示16个字母),请问这是什么原因呢?
andy_ghg
发表于 2016-1-26 17:31:49
请问Flume NG 启动的时候LOG4J不输出内容是怎么回事儿?在一台安装了HIVE、HBASE、HADOOP(也就是Hadoop 的 Namenode)上因为配置了HIVE等环境变量,LOG日志是输出的,但是在其他机器上没有数据,求解。
andy_ghg
发表于 2016-1-26 18:04:11
andy_ghg 发表于 2016-1-26 17:31
请问Flume NG 启动的时候LOG4J不输出内容是怎么回事儿?在一台安装了HIVE、HBASE、HADOOP(也就是Hadoop 的 ...
好了,关于 Flume NG 1.6 无法输出日志到控制台的问题已经解决。
解决方法:
在 Flume目录下(而不是在conf目录下)执行命令时加上 -c conf参数即可,例如:
nohup flume-ng agent -c conf -f conf/xxx.conf -n webserv -Dflume.root.logger=DEBUG,console &注意其中的 -f conf/xxx.conf,这里的目录一定要对,否则日志会报错。
shenkshenw
发表于 2016-2-17 15:39:23
你好,我想问一下,如果想要flumespool监控远程目录是否可以?
atsky123
发表于 2016-2-17 15:43:17
shenkshenw 发表于 2016-2-17 15:39
你好,我想问一下,如果想要flumespool监控远程目录是否可以?
目前还没发现,可以自己自定义开发个
bbfj
发表于 2016-3-23 15:10:50
很好的参考,学习了
笑风
发表于 2016-4-3 19:53:51
请教版主,我目前做的是用Spooling directory source的自定义扩展作为source,memory channel作为channel,自定义sink,但是监控目录文件处理不过来怎么搞?有没有提高效率的方法