flume1.8是否可以解决多级目录检索

查看数: 11471 | 评论数: 22 | 收藏 0
关灯 | 提示:支持键盘翻页<-左 右->
    组图打开中,请稍候......
发布时间: 2018-12-11 17:20

正文摘要:

1、flume1.8是否可以解决多级目录检索?2、如图,利用1.8TAILDIR监听多个目录,执行时没有报错,但是不能监听这俩个目录,请问是为什么?

回复

xiaoqingwuku 发表于 2019-3-20 18:39:54
taildirSource 用的是linux inode实现的不支持windows,要自己重写source端。
xiaoqingwuku 发表于 2019-3-20 18:38:52
taildirSource用的是linux inode实现的,不支持windows
wx_rLynkyG4 发表于 2018-12-24 10:24:45
yaojiank 发表于 2018-12-21 19:01
先尝试.*log.*,看看能否循环,如果不能循环说明还是操作的问题。检测配置,权限等

您好,请问可以看一下您写的配置吗?因为我就算改成.*log.*也不行,这个不能多级监测跟正则表达式应该没有关系吧。
yaojiank 发表于 2018-12-21 19:01:29
wx_rLynkyG4 发表于 2018-12-21 17:40
配置信息如图,配置好之后新建文件夹/home/sunsheen/java/d1和/home/sunsheen/java/d1/d10,然后在shell ...
先尝试.*log.*,看看能否循环,如果不能循环说明还是操作的问题。检测配置,权限等

wx_rLynkyG4 发表于 2018-12-21 17:40:06
yaojiank 发表于 2018-12-21 12:34
需要详细描述的配置,及操作过程,肯定是可以监控子目录的。这个毋庸置疑。

配置信息如图,配置好之后新建文件夹/home/sunsheen/java/d1和/home/sunsheen/java/d1/d10,然后在shell输入命令如图,最后通过ftp上传文件到这俩个目录中
1.png
2.png
yaojiank 发表于 2018-12-21 12:34:25
wx_rLynkyG4 发表于 2018-12-21 11:18
- -实践过了,但是不管是官网的代码还是我得.*都只能监听到当前目录,在子目录不管如何添加文件都不能监 ...

需要详细描述的配置,及操作过程,肯定是可以监控子目录的。这个毋庸置疑。

wx_rLynkyG4 发表于 2018-12-21 11:18:21
yaojiank 发表于 2018-12-18 22:02
多尝试,对于日志文件来讲,一般都是格式固定的,不会出现多个格式。
这是官网给的例子

- -实践过了,但是不管是官网的代码还是我得.*都只能监听到当前目录,在子目录不管如何添加文件都不能监听到,请问是什么原因呢?
yaojiank 发表于 2018-12-18 22:02:19
wx_rLynkyG4 发表于 2018-12-18 15:52
必须要指定一种格式吗?像这种监听所有文件的就不能监听多级目录吗?

多尝试,对于日志文件来讲,一般都是格式固定的,不会出现多个格式。
这是官网给的例子

a1.sources = r1
a1.channels = c1
a1.sources.r1.type = TAILDIR
a1.sources.r1.channels = c1
a1.sources.r1.positionFile = /var/log/flume/taildir_position.json
a1.sources.r1.filegroups = f1 f2
a1.sources.r1.filegroups.f1 = /var/log/test1/example.log
a1.sources.r1.headers.f1.headerKey1 = value1
a1.sources.r1.filegroups.f2 = /var/log/test2/.*log.*
a1.sources.r1.headers.f2.headerKey1 = value2
a1.sources.r1.headers.f2.headerKey2 = value2-2
a1.sources.r1.fileHeader = true



对于你所说的其它的格式,自己可以多尝试。
另外给楼主的建议
1.多看官网
比如window下不支持多级监控,官网已经明确表示

1.png

2.多实践
楼主在提问的同时,一个小测验就能测出来。




wx_rLynkyG4 发表于 2018-12-18 15:52:29
s060403072 发表于 2018-12-14 21:12
在目录的下面确定监控文件的格式。比如监控aboutyunlog的带有log格式的所有文件。
a1.sources.source1.f ...

必须要指定一种格式吗?像这种监听所有文件的就不能监听多级目录吗?
1.png
关闭

推荐上一条 /2 下一条