desehawk 发表于 2017-6-5 19:15:12

flume如何实时读取不断追加的日志

1. 日志文件每天roate一个新文件
a)方案一
There is no way the tail command itself can automatically switch to the new file with a different name when the date changes. Thus, you have to kill the old tail and start a new one in due time.

while
    tail -F `date +%Y%m%d.log`& sleep $(expr `date +%s -d'day 0'` - `date +%s`)
dokill $!
done

b) 方案二
I am using flume-ng exec tailing rotated log files too. Here's my solution:

originAgent.sources.originSource2.type = exec                                                                                                                                             
originAgent.sources.originSource2.command = locktail_rotate.sh /path/to/test.DATE_ROTATE.log 'date +"%Y%m%d"'
And you can checkout locktail_rotate.sh from here. https://github.com/kylelin/locktail

另外一个参考: https://github.com/liuxuan207/TailSource+

来自:
http://blog.csdn.net/bright60/article/details/50728306

凌飞羽 发表于 2017-6-6 08:27:05

多谢分享

美丽天空 发表于 2017-6-6 08:58:03

感谢分享

美丽天空 发表于 2017-6-6 09:09:02

感谢分享

Mr.k 发表于 2017-6-6 10:21:20

多谢分享
页: [1]
查看完整版本: flume如何实时读取不断追加的日志