kafka Channel

flume在1.6版本中推出了对速率和安全双保险的kafka channel，不知道大家有没有尝试过。

还没，以后试试

tntzbzc 发表于 2015-6-8 10:33
还没，以后试试

楼主是不是遇到什么问题了

mituan2008 发表于 2015-6-8 16:46
楼主是不是遇到什么问题了

我想用kafkachannel连接kafkasink，不知道这样使用对不对。看官方上说kafkachannel有三种使用场景，第二种是source+kafkachannel，这个我测试了一下可以。但用source+kafkachannel+kafkasink就没有配置成功。

agent.channels.kafkaChannel.type   = org.apache.flume.channel.kafka.KafkaChannel
agent.channels.kafkaChannel.capacity = 10000
agent.channels.kafkaChannel.transactionCapacity = 1000
agent.channels.kafkaChannel.brokerList=172.19.104.244:9092,172.19.104.246:9092,172.19.104.246:9092
agent.channels.kafkaChannel.topic=com.antrol.saas.logs
agent.channels.kafkaChannel.zookeeperConnect=zk1:2481,zk2:2481,zk3:2481,zk4:2481,zk5:2481[/mw_shl_code]

agent.sinks.kafkaSink.type = org.apache.flume.sink.kafka.KafkaSink
agent.sinks.kafkaSink.topic=com.antrol.saas.logs
agent.sinks.kafkaSink.brokerList=172.19.104.244:9092,172.19.104.246:9092,172.19.104.246:9092
agent.sinks.kafkaSink.request.required.acks=1  
agent.sinks.kafkaSink.max.message.size=1000000  
agent.sinks.kafkaSink.producer.type=sync
agent.sinks.kafkaSink.zookeeper.connect=zk1:2481,zk2:2481,zk3:2481,zk4:2481,zk5:2481

Murphy 发表于 2015-6-8 17:00
我想用kafkachannel连接kafkasink，不知道这样使用对不对。看官方上说kafkachannel有三种使用场景，第二 ...

个人观点，仅供参考
kafkaChannel和kafkaSink如何配合使用？