搜索
搜 索
本版
文章
帖子
用户
图文精华
hadoop-2.6.0+zookeeper-3.4.6+hbase-1.0.0+hive-1.1.0完全分布 ...
首页
Portal
专题
BBS
面试
办公|编程助手
更多
登录
注册
用户组:游客
主题
帖子
云币
我的帖子
我的收藏
我的好友
我的勋章
设置
退出
导读
淘贴
博客
群组
社区VIP
APP下载
今日排行
本周排行
本周热帖
本月排行
本月热帖
会员排行
About云-梭伦科技
»
专题
›
交流区
›
技术交流
›
Flume
›
如何实现SpoolSource对单一文件内容增长的实时监控?
0
2
0
分享
如何实现SpoolSource对单一文件内容增长的实时监控?
hongqianli588
发表于 2015-5-29 11:31:16
[显示全部楼层]
阅读模式
关闭右栏
2
23473
About云VIP帮助找工作和提升
目前的 spoolSource 只能支持对文件个数的增长的监控,不能做到实时监控,就算按照分钟滚动文件也是最多准实时,
使用exc Tail 又容易丢失数据,
请教如何实现对单一文件的实时增长的监控,又能保证数据的完整?我如果要实现这个功能是因为修改SpoolSource的源码还是自定义一个customer Source ,
哪一种比较好?
customer
,
监控
,
如何
回复
使用道具
举报
提升卡
置顶卡
沉默卡
喧嚣卡
变色卡
千斤顶
显身卡
相关帖子
.
问个关于如何直接给实例绑定外部IP的问题
.
ceilmeter如何推送数据至gnocchi
.
以HBase表作为MapReduce的输入,如何控制分片的大小,增加map task的数量
.
kafka的实际项目里面是如何push数据的
.
scala 输入指定的年月日判断这一天是一年的第几天,如何写代码
.
flume如何采集本地数据到kafka中? 遇到问题了
.
请问ceilometer可以监控云主机磁盘分区使用情况吗
.
关于hive并发问题求助!!!
.
spark rdd如何做到terasort那样的快速排序
.
openstack开发在windows7下如何引入 keystoneclient.v2_0.client
已有(2)人评论
电梯直达
正序浏览
bob007
发表于 2015-5-29 12:06:19
没有完美的,方式还是比较多的。
如果能力允许,自己能写一个更好
当然业务不复杂,还可以自己写shell。
回复
使用道具
举报
显身卡
bob007
发表于 2015-5-29 12:09:59
这里有插件开发,楼主可以参考
flume 插件开发介绍
回复
使用道具
举报
显身卡
高级模式
B
Color
Image
Link
Quote
Code
Smilies
您需要登录后才可以回帖
登录
|
立即注册
本版积分规则
发表回复
回帖后跳转到最后一页
发表新帖
hongqianli588
新手上路
关注
主题
帖子
粉丝
TA的主题
如何实现SpoolSource对单一文件内容增长的实时监控?
2015-5-29
24小时热文
Flink CDC:新一代实时数据集成框架
蚂蚁面试就是不一样
如何高效学习
人情世故速查速用大全集
框架思维
关闭
推荐
/2
中文版ChatGPT
1.无需魔法 2.提高编程效率 3.提高文档能力
查看 »
新手帮助
新手帮助:注册遇到问题,领取资源,加入铁粉群,不会使用搜索,如何获取积分等
查看 »
意见
反馈