专题 › Flume › 求助 flume发送到kafka报错

Hentai 发表于 2016-9-29 16:15:52

求助 flume发送到kafka报错

flume报的这个错误

Hentai 发表于 2016-9-29 16:16:45

简直无语 一直报这个错

easthome001 发表于 2016-9-29 16:35:05

这个问题
warn async.defaulteventhandler:failed to send producer request with correlation id 2 to broker 374 with data for partitions

下面两个解决办法，楼主可以试试
解决办法1：
修改kafka中配置项，
#advertised.host.name=<hostname routable by clients>
注释去掉，并配置上kafka所在linux的ip地址
advertised.host.name=192.168.10.10
重启kafka。

解决办法2（推荐）：
将kafka所在linux的（ip，别名）配置到Window环境中hosts文件:
192.168.10.10kafka.host
Flume配置文件consumer.properties中
producer.sinks.r.brokerList = kafka.host:9092

Hentai 发表于 2016-9-29 17:02:39

easthome001 发表于 2016-9-29 16:35
这个问题
warn async.defaulteventhandler:failed to send producer request with correlation id 2 to br ...

刚刚试过了 完全没有卵用 我简直无语了

Hentai 发表于 2016-9-29 17:46:47

按照网上的方式各种改然而还是无限报这种错，真心无语了

nextuser 发表于 2016-9-30 07:43:25

Hentai 发表于 2016-9-29 17:46
按照网上的方式各种改然而还是无限报这种错，真心无语了

楼主把全部的配置都贴出来看下

Hentai 发表于 2016-9-30 11:02:35

nextuser 发表于 2016-9-30 07:43
楼主把全部的配置都贴出来看下

这是我kafka的配置

delete.topic.enable=true


broker.id=0

port=9092

host.name=10.0.118.208


num.network.threads=3
num.io.threads=8

socket.send.buffer.bytes=102400

socket.receive.buffer.bytes=102400

socket.request.max.bytes=104857600



log.dirs=/tmp/kafka-logs

num.partitions=1

num.recovery.threads.per.data.dir=1



log.retention.hours=168


log.segment.bytes=1073741824


log.retention.check.interval.ms=300000

log.cleaner.enable=false

zookeeper.connect=localhost:2181

zookeeper.connection.timeout.ms=6000

nextuser 发表于 2016-10-1 23:56:18

Hentai 发表于 2016-9-30 11:02
这是我kafka的配置

delete.topic.enable=true


flume怎么配置的

Hentai 发表于 2016-10-8 09:50:04

nextuser 发表于 2016-10-1 23:56
flume怎么配置的

已经解决了

nextuser 发表于 2016-10-8 21:19:00

Hentai 发表于 2016-10-8 09:50
已经解决了

是flume的问题，还是忘了什么配置的原因

查看完整版本: 求助 flume发送到kafka报错