搜索
搜 索
本版
文章
帖子
用户
图文精华
hadoop-2.6.0+zookeeper-3.4.6+hbase-1.0.0+hive-1.1.0完全分布 ...
首页
Portal
专题
BBS
面试
办公|编程助手
更多
登录
注册
用户组:游客
主题
帖子
云币
我的帖子
我的收藏
我的好友
我的勋章
设置
退出
导读
淘贴
博客
群组
社区VIP
APP下载
今日排行
本周排行
本周热帖
本月排行
本月热帖
会员排行
About云-梭伦科技
»
专题
›
交流区
›
技术交流
›
Flume
›
刚刚注册的新人请教几个问题?
0
1
0
分享
刚刚注册的新人请教几个问题?
recotone
发表于 2016-1-7 17:28:49
[显示全部楼层]
阅读模式
关闭右栏
1
5906
About云VIP帮助找工作和提升
最近被老大安排做一些日志收集的工作,完全不懂,用到了flume这个工具,有几个问题想请教一下:1、flume 如果从不同的应用中获取日志文件,是把不同的agent写在一个conf文件里面吗?还是说分别写多个conf再分别启动?
2、flume 写入hdfs 如果是 集群的hdfs 是怎么配置的?我试了下用集群入口的hdfs url ,无法写入文件,只能指定到某一个namenode url上
3、ng 方式 的 agent 如何进行热备?是否存在单点问题? 如果被采集的应用挂了,应用重启之后,agent 能否再次工作?
4、一般采用文件的方式作为 channel 吗?
如何
回复
使用道具
举报
提升卡
置顶卡
沉默卡
喧嚣卡
变色卡
千斤顶
显身卡
相关帖子
.
sqoop2 如何修改link
.
问个关于如何直接给实例绑定外部IP的问题
.
ceilmeter如何推送数据至gnocchi
.
以HBase表作为MapReduce的输入,如何控制分片的大小,增加map task的数量
.
kafka的实际项目里面是如何push数据的
.
scala 输入指定的年月日判断这一天是一年的第几天,如何写代码
.
flume如何采集本地数据到kafka中? 遇到问题了
.
关于hive并发问题求助!!!
.
spark rdd如何做到terasort那样的快速排序
.
openstack开发在windows7下如何引入 keystoneclient.v2_0.client
已有(1)人评论
电梯直达
正序浏览
goldtimes
发表于 2016-1-7 18:06:45
1.不同的agent不同的config.
2.hdfs存储是用同一个URI来访问的
3.如果挂掉,可以重启,支持断点恢复。
如果丢失了,可以按照下面方式
线上flume重启后数据丢失
http://www.aboutyun.com/thread-10260-1-1.html
4.文件可以作为chnnel
回复
使用道具
举报
显身卡
高级模式
B
Color
Image
Link
Quote
Code
Smilies
您需要登录后才可以回帖
登录
|
立即注册
本版积分规则
发表回复
回帖后跳转到最后一页
发表新帖
recotone
新手上路
关注
主题
帖子
粉丝
TA的主题
刚刚注册的新人请教几个问题?
2016-1-7
24小时热文
Flink CDC:新一代实时数据集成框架
蚂蚁面试就是不一样
如何高效学习
人情世故速查速用大全集
框架思维
关闭
推荐
/2
中文版ChatGPT
1.无需魔法 2.提高编程效率 3.提高文档能力
查看 »
新手帮助
新手帮助:注册遇到问题,领取资源,加入铁粉群,不会使用搜索,如何获取积分等
查看 »
意见
反馈