flume的日志收集及agent分布问题

通过CDH5搭建了一个集群（节点分别为：A.1，A.2，A.3），但没有添加flume服务。
有三个web服务器（B.1，B.2，B.3）产生日志，我想从这三个机器上监听到日志的变化，获取日志，然后进行处理。
请问这个flume集群该怎么搭建和配置？

1. 是用CM里添加服务的方式，还是通过apache的flume?
2. 要处理一个日志，从头到尾这些节点必须是搭建在一个flume集群里吗？
3. 这个flume集群中的节点和CDH中的节点能不能，或者说有没有必要整合到一起？现在想到二者唯一有的关联，就是从web服务器(B节点)取到的数据是又CDH中节点来处理的

初学，不太明白

补充一问： 是不是我从哪里取数据，就必须在那个节点上部署flume agent

flume可以使用cloudera manager来安装，也可以使用Apache的。当然如果已经安装cloudera了，可以通过服务的方式添加flume。这是官网资料
http://www.cloudera.com/documentation/archive/cdh/4-x/4-3-0/CDH4-Installation-Guide/cdh4ig_topic_12.htmlAgent，每台机器运行一个agent。也就是在你需要搜集数据的机器上安装。

下面，楼主可以了解下：
Flume1.5.0入门：安装、部署、及flume的案例
http://www.aboutyun.com/forum.php?mod=viewthread&tid=8917

请问这个flume集群该怎么搭建和配置？
可以先从简单的开始，如果没有cloudera环境，flume搭建很快的。

1. 是用CM里添加服务的方式，还是通过apache的flume?
都是可以的，看自己

2. 要处理一个日志，从头到尾这些节点必须是搭建在一个flume集群里吗？
这个不是必须的。不过你用两个也是没有必要的、
通常是一个的

3. 这个flume集群中的节点和CDH中的节点能不能，或者说有没有必要整合到一起？现在想到二者唯一有的关联，就是从web服务器(B节点)取到的数据是又CDH中节点来处理的
可以整合在一起，如果操作hdfs，还会用到hadoop的一些路径。当然也不是必须的，可以分开的

nextuser 发表于 2016-7-21 07:04
flume可以使用cloudera manager来安装，也可以使用Apache的。当然如果已经安装cloudera了，可以通过服务的 ...

如果这个日志源不受我们管控，是第三方的，不能在它上面安装AGENT，它只提供一个URI的日志文件接口，那这种情况怎么处理？

zeus_lhl 发表于 2016-7-21 10:49
如果这个日志源不受我们管控，是第三方的，不能在它上面安装AGENT，它只提供一个URI的日志文件接口，那这 ...

可以的，比如下面配置下host和端口
root@m1:/home/hadoop# vi /home/hadoop/flume-1.5.0-bin/conf/hdfs_sink.conf

a1.sources = r1
a1.sinks = k1
a1.channels = c1

# Describe/configure the source
a1.sources.r1.type = syslogtcp
a1.sources.r1.port = 5140
a1.sources.r1.host = localhost
a1.sources.r1.channels = c1


当然不同的数据源，配置是不一样的。楼主可以根据官网找到对应的配置

arsenduan 发表于 2016-7-21 12:29
可以的，比如下面配置下host和端口
root@m1:/home/hadoop# vi /home/hadoop/flume-1.5.0-bin/conf/hdfs_ ...

没看明白，哪里配？日志文件服务器？

zeus_lhl 发表于 2016-7-21 16:47
没看明白，哪里配？日志文件服务器？

楼主首先需要明白原理：
第一步，首先懂一些基本的原理，自己安装过flume。
明白了flume是如何运行的。
下面仅供参考：
让你快速认识flume及安装和使用flume1.5传输数据(日志)到hadoop2.2
http://www.aboutyun.com/forum.php?mod=viewthread&tid=7949


第二步，一般来讲flume是在本地取数据的。
那么楼主的数据不是在本地，而是在远程，但是可以通过提供的接口来取数据。那么我们只要将本地路径换成提供的接口即可。

上面思路明确了，我们就可以找到对应的source，配置下就好了

zeus_lhl 发表于 2016-7-21 16:47
没看明白，哪里配？日志文件服务器？

楼主可以根据自己的理解先配置个，然后别人帮你修改下。