flume-ng如何对按小时滚动日志进行实时监控?

对于log4j格式的按小时滚动日志，如何进行实时监控呢？采用exec还是spool比较好呢？

exec可能会丢失数据。如果日志分析数据准确性不是太高，可以使用exec。spool如果遇到文件重名，就会出异常。
根据你的实际情况来。
也可以参考这个帖子
flume 用spooldir的source配置方式 到最后总报异常

hyj 发表于 2014-7-17 13:10
本帖最后由 hyj 于 2014-7-17 13:22 编辑
exec可能会丢失数据。如果日志分析数据准确性不是太高，可以使 ...

谢谢回答。
exec只能监控一个文件呀，按小时滚动的话，会每隔一个小时生成一个新文件怎么办呢？
spool方法对于这种日志文件不能继续追加（一次读完后再次生成日志就重名了）怎么处理呢？

shadowhtx 发表于 2014-7-17 13:52
谢谢回答。
exec只能监控一个文件呀，按小时滚动的话，会每隔一个小时生成一个新文件怎么办呢？
spool ...

没法改变flume，你只能该自己的程序，可以生成不同名的日志，

hyj 发表于 2014-7-17 14:00
没法改变flume，你只能该自己的程序，可以生成不同名的日志，

我还是没有太理解，生成不同名的日志然后用spool方法吗？可是spool不支持追加日志呀？或者说不能支持对按小时滚动日志的采集呢？

shadowhtx 发表于 2014-7-17 14:34
我还是没有太理解，生成不同名的日志然后用spool方法吗？可是spool不支持追加日志呀？或者说不能支持对按 ...

spool支持追加
下面的帖子，就可以追加，你可以参考
让你快速认识flume及安装和使用flume1.5传输数据(日志)到hadoop2.2

hyj 发表于 2014-7-17 14:55
spool支持追加
下面的帖子，就可以追加，你可以参考
让你快速认识flume及安装和使用flume1.5传输数据(日 ...

还有个小问题，log4j按小时滚动日志，是在这一个小时内，不断将日志写入在同一个日期日志文件吗？
spool支持追加什么意思呢？只是说可以监控文件夹的新增文件。

shadowhtx 发表于 2014-7-17 15:17
还有个小问题，log4j按小时滚动日志，是在这一个小时内，不断将日志写入在同一个日期日志文件吗？
spool ...

你最好把产生日志目录与flume监控目录分开，二者不要混肴了这一小时产生日志文件之后，你在通过其它方式，把这个log4j放到flume监控目录中。
spool支持追加，是指不断的追加文件，也就是文件个数增加

hyj 发表于 2014-7-17 15:39
你最好把产生日志目录与flume监控目录分开，二者不要混肴了这一小时产生日志文件之后，你在通过其它方式， ...

好的，非常感谢！

hyj 发表于 2014-7-17 15:39
你最好把产生日志目录与flume监控目录分开，二者不要混肴了这一小时产生日志文件之后，你在通过其它方式， ...

你好，我现在找到了一个插件能够对目录下多个追加文件和添加文件进行监控，应该是结合了exec和spool方法。但是使用过程中总是出现问题，这个是jar源码地址https://github.com/jinoos/flume-ng-extends，可以帮忙看下吗？