分享

flume可以把日志写到hdfs的同一个文件中吗?hdfs在实际应用中有些什么用途?

gojuukaze 发表于 2016-10-13 15:34:06 [显示全部楼层] 回帖奖励 阅读模式 关闭右栏 3 11811
现在在做用flume把两台服务器上的日志实时收集到hdfs,

但有个问题传到hdfs上的东西会分成多个文件,虽然可以设置按大小、时间进行文件分割,但都无法做到正在把日志都写入同一个文件。

请问可以把每天的日志都写到hdfs上的一个文件中吗,还是说hdfs在实际应用中只做日志备份用?

已有(3)人评论

跳转到指定楼层
starrycheng 发表于 2016-10-13 15:58:42
flume只是传递的作用。如果想整合到一个文件中,可以通过shell实现,或则自己二次开发flume
回复

使用道具 举报

liuzhixin137 发表于 2016-10-14 09:37:54
意思就是想两个flume客户端同时读写一个文件喽?
回复

使用道具 举报

w517424787 发表于 2016-10-14 11:43:18
这个应该要通过java代码来把flume获取的文件进行整合,然后在放入到hdfs上
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

推荐上一条 /2 下一条