yuwenge 发表于 2017-8-3 12:29
flume监控日志目录，日志，目录作为source，然后配置channel和存储的地方sink即可实现。

谢谢哦  不过我的日志是时时写的 而且每天的日志 按时间切割了文件 能不能具体点哦  我是一台收集所有的其他的爬虫的日志

hasqjh7 发表于 2017-8-3 10:07
感谢 楼主！
小弟最近 遇到了一个问题：
使用spooldir的source进行配置的，并使用avro sink 输出，最近老 ...

这个应该有时候flume的source目录为空导致的。如果有文件上传应该就不会有了。

coding_wht 发表于 2017-8-3 11:35
博主 麻烦问下  我目前的需求是：多台机子爬虫去爬取数据 产生实时的日志 然后我要做的是日志的收集 然后做 ...

flume监控日志目录，日志，目录作为source，然后配置channel和存储的地方sink即可实现。

doudoupower 发表于 2017-7-18 21:41
请问楼主 flume 怎么处理 /log/app/10.0.0.1/test.log /log/app/10.0.0.2/test.log 这种一个应用多个子目录 ...

Flume的Spooling Directory Source支持Sub-directories

完整的代码已经更新到了github上

flume-spool-recursive-directory-source

博主 麻烦问下  我目前的需求是：多台机子爬虫去爬取数据 产生实时的日志 然后我要做的是日志的收集 然后做下各个机子爬虫的爬取情况等  这个怎们结合flume 来完成哦

感谢 楼主！
小弟最近 遇到了一个问题：
使用spooldir的source进行配置的，并使用avro sink 输出，最近老是报错，异常信息如下 ：01 Aug 2017 10:36:00,957 ERROR [pool-5-thread-1] (org.apache.flume.source.SpoolDirectorySource$SpoolDirectoryRunnable.run:262)  - FATAL: Spool Directory source spoolDir: { spoolDir: /home/ads/flume-data }: Uncaught exception in SpoolDirectorySource thread. Restart or reconfigure Flume to continue processing.org.apache.avro.AvroRuntimeException: java.io.IOException: Block size invalid or too large for this implementation: -24
不知道 楼主，能否解答一下么？

请问楼主 flume 怎么处理 /log/app/10.0.0.1/test.log /log/app/10.0.0.2/test.log 这种一个应用多个子目录的日志，怎么区分应用呢？

flume和elastic里面的各种beat有什么区别呢?

楼主画模型的工具用的那个啊？求推荐个好用的