求教flume1.4.0监控不同类型日志问题

环境：CDH5.0.2+flume1.4.0
flume使用SpoolSource监控生成的日志，但是考虑到目录下有大量业务日志生成，想对这些日志作个区分，例如有些日志命名为2014-07-10.pid123.log，flume中能不能实现用规则yyyy-mm-dd-HH,pid***.log来匹配相应的文件呢？

howtodown 发表于 2014-8-21 13:32
一个个排查
你的datanode挂了两个

因为我就两个datanode,,这个采集机器是在国外，所以就一直超时，导致连接不上吧，这个国外的机器只开了两个端口：9000（namenode），50010(datanode)，，，但是我用国内的一个采集机器部署的话，数据是ok的，没有报错，因为国内的使用的是内网，端口都是全开，，，，我现在不知道是不是端口受限的问题，还是其他什么原因，今天还要继续搞

1.上传之后被重命名
你是说，在上传之后，重命名吗？如果这个的话，没有相关配置项的话，你只能二次开发了。
2.其他程序日志
如果说你本来目录里面的日志分类，这个跟flume没有关系，跟产生日志的程序有关系。
flume只是上传这些日志而已。


如果说你只是想分类，你可以尝试配置多个目录

howtodown 发表于 2014-7-10 19:15
本帖最后由 howtodown 于 2014-7-10 19:16 编辑
1.上传之后被重命名
你是说，在上传之后，重命名吗？如 ...

感谢你回答，那我能不能自动获取到监的日志文件的文件名并保存在header中呢？

shadowhtx 发表于 2014-7-11 10:30
感谢你回答，那我能不能自动获取到监的日志文件的文件名并保存在header中呢？

如果你有环境的话，这些都不是问题。你可以试一下。

shadowhtx 发表于 2014-7-11 10:30
感谢你回答，那我能不能自动获取到监的日志文件的文件名并保存在header中呢？

你说的保存是对它做另外的处理吗？
这个可能需要二次开发。

howtodown 发表于 2014-7-11 11:07
如果你有环境的话，这些都不是问题。你可以试一下。

那flume能不能只监控目录下面满足某种regex文件名（如yyyy-mm-dd-HH,pid***.log）的的文件呢，因为flume可以使用interceptors过滤不满足regex要求的日志body。

hyj 发表于 2014-7-11 11:21
你说的保存是对它做另外的处理吗？
这个可能需要二次开发。

谢谢，flume可以取到文件名，我看文档中source下有fileHeader和fileHeaderKey应该是可以获得文件名。不知道能根据文件名过滤下将要收集的日志，也就是根据regex格式收集文件名匹配的日志?

shadowhtx 发表于 2014-7-11 14:00
谢谢，flume可以取到文件名，我看文档中source下有fileHeader和fileHeaderKey应该是可以获得文件名。不知 ...

既然能取到名称，你可以对名称做一个判断就好了。

hyj 发表于 2014-7-11 16:44
既然能取到名称，你可以对名称做一个判断就好了。

下午再看了一次文档,发现之前漏掉了source的一个重要属性ignorePattern:Regular expression specifying which files to ignore (skip);不过正好跟我想要取的文件名规则相反.

shadowhtx 发表于 2014-7-11 17:54
下午再看了一次文档,发现之前漏掉了source的一个重要属性ignorePattern:Regular expression specifying w ...

恩，你可以在看看，如果真没有的话，你只能二次开发了。

给你推荐个资料：
flume 插件开发介绍