cloudera manager管理flume的一个疑问

本帖最后由 terryliu98 于 2015-3-2 16:36 编辑

通过cloudera manager添加flume服务，发现最多就是一台机一个flume agent。
打个比方我一个集群5台机的话，我最多就是添加5个agent。
而5个agent不就意味着我只能收集5个source的数据吗？
如果我要收集10个source的数据咋办？

但实际上flume agent并没有一台机只能有一个的限制呀，不通过cloudera manager布署我高兴的话一台机子上我跑10几个flume agent都可以呀。。。

sstutu · 发表于 2015-3-2 17:23:57

一般情况，都是跑一个agent，并且数据源只要格式一致，即可作为一个数据源。
楼主说的情况有些特殊。如果想部署10个的话，可以试试。不过这样成功的可能性不太大。
部署一个agent就足够了。

terryliu98 · 发表于 2015-3-2 17:31:38

sstutu 发表于 2015-3-2 17:23
一般情况，都是跑一个agent，并且数据源只要格式一致，即可作为一个数据源。
楼主说的情况有些特殊。如果 ...

你好，多谢回复。
为啥一般情况只是跑一个agent?
对一个企业来说，应该有很多数据源呀，比如web log，application log, 还有很多application生成的各种业务文件等等要抓取到hdfs，这不是很常见的case吗？
这种情况下一个数据源对应一个agent的话，不是需要很多个agent吗？
期待回复，谢谢