gojuukaze 发表于 2016-10-13 15:34:06

flume可以把日志写到hdfs的同一个文件中吗？hdfs在实际应用中有些什么用途？

现在在做用flume把两台服务器上的日志实时收集到hdfs，
但有个问题传到hdfs上的东西会分成多个文件，虽然可以设置按大小、时间进行文件分割，但都无法做到正在把日志都写入同一个文件。
请问可以把每天的日志都写到hdfs上的一个文件中吗，还是说hdfs在实际应用中只做日志备份用？

starrycheng 发表于 2016-10-13 15:58:42

flume只是传递的作用。如果想整合到一个文件中，可以通过shell实现，或则自己二次开发flume

liuzhixin137 发表于 2016-10-14 09:37:54

意思就是想两个flume客户端同时读写一个文件喽？

w517424787 发表于 2016-10-14 11:43:18

这个应该要通过java代码来把flume获取的文件进行整合，然后在放入到hdfs上
页: [1]
查看完整版本: flume可以把日志写到hdfs的同一个文件中吗？hdfs在实际应用中有些什么用途？