flume求助！多行读取文件内容

本帖最后由记忆在空中飘荡于 2017-2-22 15:56 编辑

souce 使用 spooldir
对指定目录下的log日志文件进行监控
配置文件如下
QQ截图20170222154008.png

用如上配置监控日志输出到hdfs上，若是处理单行的日志还好，遇到多行的日志，会把相关的描述信息截断
原始日志如下：
QQ截图20170222154243.png

使用拦截器进行拦截后，未被拦截的信息如下：
QQ截图20170222154428.png

求教！！！
如何使用flume对日志进行监控并分类，可以按照自定义规则souce的正则，可以读取多行。

将类似红框内的信息作为一条消息进行分类
QQ截图20170222154819.png

qcbb001 · 发表于 2017-2-22 16:51:06

增大下 XX:MaxDirectMemorySize(-XX:MaxDirectMemorySize)

leletuo2012 · 发表于 2017-2-23 13:17:34

记忆在空中飘荡 · 发表于 2017-2-24 13:46:40

leletuo2012 发表于 2017-2-23 13:17
可以参看这篇 https://github.com/qwurey/flume-source-multiline/

我自己也是找到的这个文章解决的，自定义的source正则就好使了。感谢！

图文精华