记忆在空中飘荡 发表于 2017-2-22 15:46:44

flume求助！多行读取文件内容

本帖最后由 记忆在空中飘荡 于 2017-2-22 15:56 编辑

souce 使用 spooldir
对指定目录下的log日志文件进行监控
配置文件如下

用如上配置监控日志输出到hdfs上，若是处理单行的日志还好，遇到多行的日志，会把相关的描述信息截断
原始日志如下：

使用拦截器进行拦截后，未被拦截的信息如下：



求教！！！
如何使用flume对日志进行监控并分类，可以按照自定义规则souce的正则，可以读取多行。

将类似红框内的信息作为一条消息进行分类

qcbb001 发表于 2017-2-22 16:51:06

增大下 XX:MaxDirectMemorySize(-XX:MaxDirectMemorySize)

leletuo2012 发表于 2017-2-23 13:17:34

可以参看这篇 https://github.com/qwurey/flume-source-multiline/

记忆在空中飘荡 发表于 2017-2-24 13:46:40

leletuo2012 发表于 2017-2-23 13:17
可以参看这篇 https://github.com/qwurey/flume-source-multiline/

我自己也是找到的这个文章解决的，自定义的source正则就好使了。感谢！
页: [1]
查看完整版本: flume求助！多行读取文件内容