flume学习（二）：如何找到cm安装的flume的配置文件

问题导读
1、如何将log4j的日志输出到agent的日志文件当中？
2、怎么将sink的type由logger变为hdfs？
3、报错？你给目录授权了吗？





通过CM安装好flume-ng之后，可以在管理界面上修改flume.conf配置，但是 /etc/flume-ng/conf目录下的flume.conf文件却空空如也。由于对CM的运行原理不了解，搞不明白我修改的配置信息保存到哪去了。于是我find / -name "flume.conf" -print了一下，发现我最新修改的flume.conf在/var/run/cloudera-scm-agent/process/455-flume-AGENT下面。

455-flume-AGENT这个目录前面的那个455是会变的，每次重启flume服务都会变，应该是CM内部管理的一个ID号，如果只是刷新配置，则还是这个ID号不会变。

继续学习。



flume将log4j日志数据写入到hdfs

在第一篇文章中我们是将log4j的日志输出到了agent的日志文件当中。配置文件如下：

tier1.sources=source1  
tier1.channels=channel1  
tier1.sinks=sink1  
  
tier1.sources.source1.type=avro  
tier1.sources.source1.bind=0.0.0.0  
tier1.sources.source1.port=44444  
tier1.sources.source1.channels=channel1  
  
tier1.channels.channel1.type=memory  
tier1.channels.channel1.capacity=10000  
tier1.channels.channel1.transactionCapacity=1000  
tier1.channels.channel1.keep-alive=30  
  
tier1.sinks.sink1.type=logger  
tier1.sinks.sink1.channel=channel1
复制代码

本次我们把log4j的日志直接采集输出到hdfs中去。需要修改flume.conf中sink的配置：

tier1.sources=source1  
tier1.channels=channel1  
tier1.sinks=sink1  
  
tier1.sources.source1.type=avro  
tier1.sources.source1.bind=0.0.0.0  
tier1.sources.source1.port=44444  
tier1.sources.source1.channels=channel1  
  
tier1.channels.channel1.type=memory  
tier1.channels.channel1.capacity=10000  
tier1.channels.channel1.transactionCapacity=1000  
tier1.channels.channel1.keep-alive=30  
  
tier1.sinks.sink1.type=hdfs  
tier1.sinks.sink1.channel=channel1  
tier1.sinks.sink1.hdfs.path=hdfs://master68:8020/flume/events  
tier1.sinks.sink1.hdfs.fileType=DataStream  
tier1.sinks.sink1.hdfs.writeFormat=Text  
tier1.sinks.sink1.hdfs.rollInterval=0  
tier1.sinks.sink1.hdfs.rollSize=10240  
tier1.sinks.sink1.hdfs.rollCount=0  
tier1.sinks.sink1.hdfs.idleTimeout=60  
复制代码

简单说明一下修改的部分，我们将sink的type由logger变为hdfs，然后指定输出path, 默认是输出到HDFS后为sequencefile,里面的内容无法直接打开浏览，为了便于直观看到我们输出的日志信息，所以我这里将fileType为DataStream, writeFormat=Text,这样就可以直接打开生成的文件进行查看了。
下面几个roll开头的参数都是用来控制滚动日志输出的，官方文档上的说明也很详细，我这里配置的只按文件大小来滚动rollSize=10240,也就是10K滚动生成一个新的文件用来接收新的EVENTS。实际中这个Size应该更大一些，我觉得设置成HDFS的blocksize大小应该挺合适的。

idleTimeout设置为60秒（默认值为0），这里面的原理是这样的，flume里面每生成一个接收文件时的命名规则如：FlumeData.1406251462179.tmp，.tmp表示这个文件正在被使用来接收EVENTS，当满10K之后，这个文件会被rename成FlumeData.1406251462179，把.tmp后缀去掉，但是如果你停止了应用程序后，FlumeData.1406251462179.tmp还没满10K，按照默认的idleTimeout设置，不会将它rename,也就是.tmp后缀一直在，造成了这个文件一直在使用当中的一个假象，这是有问题的，我们设置idleTimeout=60，即60秒后这个文件还没有被写入数据，就会关闭它然后rename它去掉.tmp,以后新进来的events，会新开一个.tmp文件来接收。

我们再运行第一篇文章中的那个示例应用程序，然后去path指定的目录下面就能看到log4j输出的日志信息了。


补充注意点（针对cm安装的flume）：

首先在hdfs上创建/flume目录：hadoop fs -mkdir /flume
给该目录授权给flume用户和组：hadoop fs -chown -R flume:flume /flume

注意给目录授权很重要，不然会报错。

相关文章：
flume学习（一）：log4j直接输出日志到flume


flume学习（三）：Flume Interceptors的使用


flume学习（四）：Flume Channel Selectors使用

提示：
log4j:ERROR Flume append() failed.
log4j:ERROR Flume append() failed.