flume 用spooldir的source配置方式到最后总报异常

about云腾讯认证空间

本帖最后由 sstutu 于 2014-5-17 11:47 编辑
配置用spooldir的source配置方式到最后总报异常
QQ图片20140517114004.jpg

大家有没有遇见过这中情况啊
这是我的配置

hyj · 发表于 2014-5-17 11:48:57

spool使用问题还是比较多的

sstutu · 发表于 2014-5-17 11:50:01

本帖最后由 sstutu 于 2014-5-17 11:51 编辑
我换成 exec 模式的就不会报错,而且只有文件大了才会报错,但是用exec方式会丢失数据.

hyj · 发表于 2014-5-17 11:52:47

你的监控文件夹下文件的生成方式,不断追加还是一分钟一个还是？你看看你监控的文件夹下是不是有重名的

sstutu · 发表于 2014-5-17 11:54:52

本帖最后由 sstutu 于 2014-5-17 13:55 编辑

就只有这一个,spool读完文件后会改文件名

hyj · 发表于 2014-5-17 14:00:35

sstutu 发表于 2014-5-17 11:54
就只有这一个,spool读完文件后会改文件名

把flume启动后直接把那个日志文件上传到那个被监控的文件夹下,的日志文件一直都是一个文件,你可以使用exec。
但是缺点：exec可能会丢失数据。如果日志分析数据准确性不是太高，可以使用exec。

日志分析最好还是不要用 spooldir方式吧，否则会报错

mjjian0 · 发表于 2014-5-26 10:41:58

我们用的就是exec方式，

wjhdtx · 发表于 2014-10-31 12:04:46

mjjian0 发表于 2014-5-26 10:41
我们用的就是exec方式，

你好，我的需求是日志文件已经产生，我想通过flume将生成好的日志文件拷贝到hdfs中1. 想问下使用哪中source比较好？
2. 或者不用flume：

①使用java调用hdfs的api将日志文件写入hdfs
②使用java或shell调用hadoop fs -put来将文件写入hdfs
这两种哪个好？

谢谢；）