flume 用spooldir的source配置方式到最后总报异常

查看数: 73054 | 评论数: 18 | 收藏 2

关灯 | 提示：支持键盘翻页<-左右->

发布时间: 2014-5-17 11:41

本帖最后由 sstutu 于 2014-5-17 11:47 编辑配置用spooldir的source配置方式到最后总报异常

Yaphets 发表于 2017-6-7 08:40:48

starrycheng 发表于 2017-6-6 16:55
试试这个
a1.sinks.k1.hdfs.filePrefix = logFile.%Y-%m-%d
a1.sinks.k1.hdfs.fileSuffix = .log

大神好，刚接触flume，请问EXEC的方式会遇到采集log信息不能超过16位字节，同样的如果我只需要log信息中一两个比较关键的字段怎么通过正则拦截器把这两个字段取出来呢。谢谢！烦请解释一下您回复的这个是指什么意思？非常感谢

starrycheng 发表于 2017-6-6 16:55:04

Yaphets 发表于 2017-6-6 16:09
你好，你用EXEC方式的话，采集这个catalina.out文件里面的一些log信息，到了每天零点，才会变成后面加上 ...

试试这个
a1.sinks.k1.hdfs.filePrefix = logFile.%Y-%m-%d
a1.sinks.k1.hdfs.fileSuffix = .log

Yaphets 发表于 2017-6-6 16:09:22

mjjian0 发表于 2014-5-26 10:41
我们用的就是exec方式，

你好，你用EXEC方式的话，采集这个catalina.out文件里面的一些log信息，到了每天零点，才会变成后面加上当天时间的文件，怎么实时采集呢，还有就是怎么处理丢失数据的问题呢？谢谢

zhangjiajie 发表于 2016-2-25 11:21:33

hyj 发表于 2014-5-17 14:00
把flume启动后直接把那个日志文件上传到那个被监控的文件夹下,的日志文件一直都是一个文件,你可以使 ...

日志分析最好还是不要用 spooldir方式吧，否则会报错

日志分析为什么不要使用spooldir？求指教

llp 发表于 2015-8-10 13:16:53

源数据的格式已经是UTF-8了

jixianqiuxue 发表于 2015-8-7 17:19:17

llp 发表于 2015-8-7 17:05
flume发送内容到文本文件中，为什么只有一行出现乱码？只有一行啊？乱码是^@

跟文本的编码应该有关系

llp 发表于 2015-8-7 17:05:59

flume发送内容到文本文件中，为什么只有一行出现乱码？只有一行啊？乱码是^@

zzuyao 发表于 2015-1-4 22:07:06

解决了吗，什么原因？

EASONLIU 发表于 2014-12-16 22:39:43

学习了~~~~~~~~

图文精华