什么是 flume 日志收集,flume的特性

查看数: 63183 | 评论数: 4 | 收藏 1
关灯 | 提示:支持键盘翻页<-左 右->
    组图打开中,请稍候......
lzw
发布时间: 2013-12-23 21:44

正文摘要:

可以带着下面问题来阅读本文章 1.Flume如何保证数据正确性 2.Flume有哪些自带的数据源 3.Flume特性有哪些 4.flume与hadoop的启动顺序是什么? 5.flume是否支持多个数据源? Flume介绍 Flume最早是C ...

回复

Useful丶M 发表于 2017-1-13 14:00:39
正在学习 楼主讲得很详细
TC_xiaoD 发表于 2017-1-11 14:10:32
Nice,很入门且详细
quenlang 发表于 2014-10-2 21:46:33
学习一下。谢谢楼主的帖子,支持一下
lzw 发表于 2013-12-25 21:47:17

Flume日志收集

Flume是Cloudera提供的一个高可用的,高可靠的,分布式的海量日志采集、聚合和传输的系统,Flume支持在日志系统中定制各类数据发送方,用于收集数据;同时,Flume提供对数据进行简单处理,并写到各种数据接受方(可定制)的能力。

          Flume最早是Cloudera提供的日志收集系统,目前是Apache下的一个孵化项目,Flume支持在日志系统中定制各类数据发送方,用于收集数据;同时,Flume提供对数据进行简单处理,并写到各种数据接受方(可定制)的能力 Flume提供了从console(控制台)、RPC(Thrift-RPC)、text(文件)、tail(UNIX tail)、syslog(syslog日志系统,支持TCP和UDP等2种模式),exec(命令执行)等数据源上收集数据的能力。
Flume采用了多Master的方式。为了保证配置数据的一致性,Flume[1]引入了ZooKeeper,用于保存配置数据,ZooKeeper本身可保证配置数据的一致性和高可用,另外,在配置数据发生变化时,ZooKeeper可以通知Flume Master节点。Flume Master间使用gossip协议同步数据。

关闭

推荐上一条 /2 下一条