分享

刚刚注册的新人请教几个问题?

recotone 发表于 2016-1-7 17:28:49 [显示全部楼层] 回帖奖励 阅读模式 关闭右栏 1 5906
最近被老大安排做一些日志收集的工作,完全不懂,用到了flume这个工具,有几个问题想请教一下:1、flume 如果从不同的应用中获取日志文件,是把不同的agent写在一个conf文件里面吗?还是说分别写多个conf再分别启动?
2、flume 写入hdfs 如果是 集群的hdfs 是怎么配置的?我试了下用集群入口的hdfs url ,无法写入文件,只能指定到某一个namenode url上
3、ng 方式 的 agent 如何进行热备?是否存在单点问题? 如果被采集的应用挂了,应用重启之后,agent 能否再次工作?
4、一般采用文件的方式作为 channel 吗?

已有(1)人评论

跳转到指定楼层
goldtimes 发表于 2016-1-7 18:06:45
1.不同的agent不同的config.
2.hdfs存储是用同一个URI来访问的
3.如果挂掉,可以重启,支持断点恢复。
如果丢失了,可以按照下面方式
线上flume重启后数据丢失

http://www.aboutyun.com/thread-10260-1-1.html
4.文件可以作为chnnel

回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

推荐上一条 /2 下一条