Flume按文件的方式导入hdfs的问题

wjhdtx · 发表于 2015-4-21 08:53:29

想ai抽发表于 2015-4-19 10:12
注意到你貌似的做了一些自定义开发，是这样吗？我们的日志当天都不会加日期，想找FileNameFilter类似的东 ...

对，我修改了flume的源代码，然后用了自己的代码。
可以将时间戳去掉，其实去不去无所谓，你最后要的是文件的内容。

想ai抽 · 发表于 2015-4-22 10:22:14

wjhdtx 发表于 2015-4-21 08:53
对，我修改了flume的源代码，然后用了自己的代码。
可以将时间戳去掉，其实去不去无所谓，你最后要的是 ...

恩，谢了。猜测是为了防止文件冲突吧。看了一下要去的话，估计还是得改源码

big_data_007 · 发表于 2016-7-1 14:21:01

谢谢分享

图文精华