evababy 发表于 2015-9-11 17:45:56

案例11
load balance 测试了random 和 round_robin 两种方式都没有做负载,所有消息都发到一个上去了,似乎锁定,是否还有其他参数控制呢?有遇到同样问题的小伙伴么?

补充内容 (2015-9-14 16:45):
负载似乎和transactionCapacity =100 有关,我测试场景没100条信息做一次轮训,但是尝试吧transactionCapacity 设置变小,但提示错误

补充内容 (2015-9-14 17:54):
轮训或者随机策略与每次处理数量有关
avro配置如下
a1.sinks.s1.batch-size = 1   默认100一次批次
注意batch-size的写法,有些sinks属性是batchSize,具体请参照


补充内容 (2015-9-14 17:54):
http://flume.apache.org/FlumeUserGuide.html#avro-sink

小崔说事 发表于 2015-9-15 09:11:47

楼主 按照你的步骤 最好 我启动flume的时候报如下错误,不知道是什么原因
log4j:WARN No appenders could be found for logger (org.apache.flume.lifecycle.LifecycleSupervisor).
log4j:WARN Please initialize the log4j system properly.
log4j:WARN See http://logging.apache.org/log4j/1.2/faq.html#noconfig for more info.
然后就卡住不动了

Alkaloid0515 发表于 2015-9-15 10:43:06

小崔说事 发表于 2015-9-15 09:11
楼主 按照你的步骤 最好 我启动flume的时候报如下错误,不知道是什么原因
log4j:WARN No appenders could...

先把log4j配置正确了

小伙425 发表于 2015-9-25 16:07:55

{:soso_e179:}{:soso_e179:}{:soso_e179:}太牛啦,我想轻轻的问一句,还有啥是你不会的啊,真想认识你本人,这要是和你在一起呆几年,我应该会有质的飞越的。。

supertonny 发表于 2015-11-5 13:38:43

感谢楼主分享,赞一个!

zmh 发表于 2015-11-26 13:04:23

Alkaloid0515 发表于 2015-9-15 10:43
先把log4j配置正确了

您好,你能说一下log4j怎么配置吗?{:soso__3110130392203091378_3:}

flume123 发表于 2015-12-2 10:34:37

Alkaloid0515 发表于 2015-9-15 10:43
先把log4j配置正确了

同求,log4j怎么配置

euler_yang 发表于 2015-12-19 10:14:03

37#兄台,搞定了没?

euler_yang 发表于 2015-12-19 10:15:46

flume123 发表于 2015-12-2 10:34
同求,log4j怎么配置

兄台,这个问题搞定了没?能否分享下?

jzm_2003 发表于 2015-12-23 12:26:24

yuwenge 发表于 2015-8-5 22:01
尝试下面方法:

第一种:


错误: 找不到或无法加载主类 org.apache.flume.tools.GetJavaProperty

将你的hbase配置文件的hbas-env.sh中的配置变为:

1、将hbase的hbase.env.sh的一行配置注释掉
# Extra Java CLASSPATH elements. Optional.
#export HBASE_CLASSPATH=/home/hadoop/hbase/conf
2、或者将HBASE_CLASSPATH改为JAVA_CLASSPATH,配置如下
# Extra Java CLASSPATH elements. Optional.
export JAVA_CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar


页: 1 2 3 [4] 5 6 7 8 9
查看完整版本: Flume1.5.0入门:安装、部署、及flume的案例