专题 › Flume › flume 用spooldir的source配置方式 到最后总报异常

EASONLIU 发表于 2014-12-16 22:39:43

学习了~~~~~~~~

zzuyao 发表于 2015-1-4 22:07:06

解决了吗，什么原因？

llp 发表于 2015-8-7 17:05:59

flume发送内容到文本文件中，为什么只有一行出现乱码？只有一行啊？乱码是^@

jixianqiuxue 发表于 2015-8-7 17:19:17

llp 发表于 2015-8-7 17:05
flume发送内容到文本文件中，为什么只有一行出现乱码？只有一行啊？乱码是^@

跟文本的编码应该有关系

llp 发表于 2015-8-10 13:16:53

源数据的格式已经是UTF-8了      

zhangjiajie 发表于 2016-2-25 11:21:33

hyj 发表于 2014-5-17 14:00
把flume启动后 直接把那个日志文件 上传到那个 被监控的文件夹下,的日志文件 一直都是一个文件,你可以使 ...

日志分析 最好还是不要用 spooldir方式吧，否则会报错

日志分析为什么不要使用spooldir？求指教

Yaphets 发表于 2017-6-6 16:09:22

mjjian0 发表于 2014-5-26 10:41
我们用的 就是exec方式，

你好，你用EXEC方式的话，采集这个catalina.out文件里面的一些log信息，到了每天零点，才会变成后面加上当天时间的文件，怎么实时采集呢，还有就是怎么处理丢失数据的问题呢？谢谢

starrycheng 发表于 2017-6-6 16:55:04

Yaphets 发表于 2017-6-6 16:09
你好，你用EXEC方式的话，采集这个catalina.out文件里面的一些log信息，到了每天零点，才会变成后面加上 ...

试试这个
a1.sinks.k1.hdfs.filePrefix = logFile.%Y-%m-%d
a1.sinks.k1.hdfs.fileSuffix = .log

Yaphets 发表于 2017-6-7 08:40:48

starrycheng 发表于 2017-6-6 16:55
试试这个
a1.sinks.k1.hdfs.filePrefix = logFile.%Y-%m-%d
a1.sinks.k1.hdfs.fileSuffix = .log

大神好，刚接触flume，请问EXEC的方式会遇到采集log信息不能超过16位字节，同样的 如果我只需要log信息中一两个比较关键的字段怎么通过正则拦截器把这两个字段取出来呢。谢谢！烦请解释一下您回复的这个是指什么意思？非常感谢

查看完整版本: flume 用spooldir的source配置方式 到最后总报异常