flume 用spooldir的source配置方式 到最后总报异常
本帖最后由 sstutu 于 2014-5-17 11:47 编辑配置 用spooldir的source配置方式到最后总报异常
大家有没有遇见过这中情况啊
这是我的 配置
spool使用问题还是比较多的 本帖最后由 sstutu 于 2014-5-17 11:51 编辑
我换成 exec 模式的 就不会 报错,而且 只有 文件 大了才会 报错,但是 用exec方式 会丢失数据. 你的监控文件夹下文件的生成方式,不断追加还是一分钟一个 还是？你看看你监控的文件夹下是不是有重名的 本帖最后由 sstutu 于 2014-5-17 13:55 编辑
就只有这一个,spool读完文件后会改文件名 sstutu 发表于 2014-5-17 11:54
就只有这一个,spool读完文件后会改文件名
把flume启动后 直接把那个日志文件 上传到那个 被监控的文件夹下,的日志文件 一直都是一个文件,你可以使用exec。
但是缺点：exec可能会丢失数据。如果日志分析数据准确性不是太高，可以使用exec。
日志分析 最好还是不要用 spooldir方式吧，否则会报错
我们用的 就是exec方式， mjjian0 发表于 2014-5-26 10:41
我们用的 就是exec方式，
你好，我的需求是日志文件已经产生，我想通过flume将生成好的日志文件拷贝到hdfs中1. 想问下使用哪中source比较好？
2. 或者不用flume：
①使用java调用hdfs的api将日志文件写入hdfs
②使用java或shell调用hadoop fs -put来将文件写入hdfs
这两种哪个好？
谢谢；）
wjhdtx 发表于 2014-10-31 12:04
你好，我的需求是日志文件已经产生，我想通过flume将生成好的日志文件拷贝到hdfs中1. 想问下使用哪中sour ...
用flume他就是用来收集日志的
mjjian0 发表于 2014-11-2 22:00
用flume他就是用来收集日志的
谢谢回复。
页:
[1]
2