图文精华

About云-梭伦科技»专题 › 交流区 › 技术交流 › Flume › 使用flume，如何保证source的各个文件在sink出去之后依 ...
分享

使用flume，如何保证source的各个文件在sink出去之后依然是这些文件？

sun 发表于 2016-7-14 14:57:20 [显示全部楼层] 回帖奖励 阅读模式 关闭右栏 2 9939
About云VIP帮助找工作和提升
使用flume，如何保证source的各个文件在sink出去之后依然是这些文件？比如监控一个目录，写到hdfs上，如何保证写到hdfs上文件大小和名字及数量是一致的？
回复

使用道具 举报

自定义广告语

已有(2)人评论

跳转到指定楼层
正序浏览
arsenduan 发表于 2016-7-14 15:43:57
如果不做特殊的配置，他们应该都是一样的
而且flume支持递归
相关参考：
Flume-ng-1.3.0 spooling source的方式增加了对目录的递归检测的支持
http://www.aboutyun.com/forum.php?mod=viewthread&tid=8458


回复

使用道具 举报

zxmit 发表于 2016-7-14 18:55:54
既然是要求HDFS上的文件的大小、名字、数量都是一样的，写个控制脚本，使用HDFS put命令就OK了吧
回复

使用道具 举报

高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

发表新帖
sun

注册会员

关注

  • 2

    主题

  • 20

    帖子

  • 5

    粉丝

TA的主题
关闭

推荐上一条 /2 下一条

关于我们· 联系我们· 加入我们· 小黑屋· 合作伙伴   

Copyright © 2001-2024 About云-梭伦科技 Powered by Discuz! X3.4 Licensed Discuz Team.

简书 / Smrz 京ICP备2020039040号 Wxb 简书网举报电话：021-34700000