谢谢啊，channel目前就内存和文件形式，其实内存在效率上面应该已经基本满足需求了

火龙果先生 发表于 2016-4-24 21:45
source怎么设置不通过channel直接进入sink

channel是必须的

mseaspring 发表于 2016-3-1 17:37
我们在用flume的时候，有的效率要求高，可以通过不要channel，直接source之后sink。

source怎么设置不通过channel直接进入sink

我们在用flume的时候，有的效率要求高，可以通过不要channel，直接source之后sink。

cherryzxh007 发表于 2015-11-5 23:39
flume测过一分钟大概也就300来m,增加memory和transaction到非常大并不会提高速度，反而会导致一系列的内存 ...

昨天自己在flume源码里增加了 hdfs commit的时间点，发现自己笔记本的虚拟机 在batchSize=10000的情况下，一次commit花了3秒时间左右，而在公司虚拟机上一次commit需要7到10秒时间不等。。我现在怀疑，可能是我自己笔记本的三台虚拟机都是在一台物理机上，而公司3台虚拟机各分布在不同的物理机上导致的这个时间差异。。但是又暴露出一个问题，公司虚拟机调 capacity,batchsize大小速度都不变化，在相差100倍甚至相差1000倍的情况下，速度都保持在2M/S左右，很奇怪。。因该要浮动一点，然后达到一个瓶颈值，这样才算正常吧。。

flume测过一分钟大概也就300来m,增加memory和transaction到非常大并不会提高速度，反而会导致一系列的内存溢出等问题

ablin 发表于 2015-11-4 20:02
查看了公司虚拟机的IO效率  自己笔记本虚拟机的IO效率
发现自己笔记本虚拟机cached 读速度 是公司虚拟机 ...

对的，磁盘也是考虑因素