flume 用spooldir的source配置方式到最后总报异常

EASONLIU · 发表于 2014-12-16 22:39:43

学习了~~~~~~~~

zzuyao · 发表于 2015-1-4 22:07:06

解决了吗，什么原因？

llp · 发表于 2015-8-7 17:05:59

flume发送内容到文本文件中，为什么只有一行出现乱码？只有一行啊？乱码是^@

jixianqiuxue · 发表于 2015-8-7 17:19:17

llp 发表于 2015-8-7 17:05
flume发送内容到文本文件中，为什么只有一行出现乱码？只有一行啊？乱码是^@

跟文本的编码应该有关系

llp · 发表于 2015-8-10 13:16:53

源数据的格式已经是UTF-8了

zhangjiajie · 发表于 2016-2-25 11:21:33

hyj 发表于 2014-5-17 14:00
把flume启动后直接把那个日志文件上传到那个被监控的文件夹下,的日志文件一直都是一个文件,你可以使 ...

日志分析最好还是不要用 spooldir方式吧，否则会报错

日志分析为什么不要使用spooldir？求指教

Yaphets · 发表于 2017-6-6 16:09:22

mjjian0 发表于 2014-5-26 10:41
我们用的就是exec方式，

你好，你用EXEC方式的话，采集这个catalina.out文件里面的一些log信息，到了每天零点，才会变成后面加上当天时间的文件，怎么实时采集呢，还有就是怎么处理丢失数据的问题呢？谢谢

starrycheng · 发表于 2017-6-6 16:55:04

Yaphets 发表于 2017-6-6 16:09
你好，你用EXEC方式的话，采集这个catalina.out文件里面的一些log信息，到了每天零点，才会变成后面加上 ...

试试这个
a1.sinks.k1.hdfs.filePrefix = logFile.%Y-%m-%d
a1.sinks.k1.hdfs.fileSuffix = .log

Yaphets · 发表于 2017-6-7 08:40:48

starrycheng 发表于 2017-6-6 16:55
试试这个
a1.sinks.k1.hdfs.filePrefix = logFile.%Y-%m-%d
a1.sinks.k1.hdfs.fileSuffix = .log

大神好，刚接触flume，请问EXEC的方式会遇到采集log信息不能超过16位字节，同样的如果我只需要log信息中一两个比较关键的字段怎么通过正则拦截器把这两个字段取出来呢。谢谢！烦请解释一下您回复的这个是指什么意思？非常感谢

图文精华