Flume AvroRuntimeException问题，求救！

langke93 发表于 2017-8-4 15:50
当然是搞错的情况下了。
配置贴出来看下

agent.sources=spoolDir
agent.channels=fileChannel
agent.sinks=avroSink2


# For each one of the sources, the type is defined
agent.sources.spoolDir.type=spooldir
agent.sources.spoolDir.spoolDir=/home/uh/flume-data


agent.sources.spoolDir.inputCharset=UTF-8
agent.sources.spoolDir.fileSuffix=.COMPLETED
agent.sources.spoolDir.deletePolicy=never
agent.sources.spoolDir.batchSize=100
agent.sources.spoolDir.deserializer=LINE
agent.sources.spoolDir.deserializer.maxLineLength=65536
agent.sources.spoolDir.deserializer.outputCharset=UTF-8

agent.sinks.avroSink2.type=avro
agent.sinks.avroSink2.hostname=10.0.0.1
agent.sinks.avroSink2.port=41414
agent.sinks.avroSink2.batch-size=100
agent.sinks.avroSink2.connect-timeout=30000
agent.sinks.avroSink2.request-timeout=30000
agent.sinks.avroSink2.compression-type=deflate
agent.sinks.avroSink2.compression-level=4
agent.sinks.avroSink2.channel=fileChannel


# Each channel's type is defined.
agent.channels.fileChannel.type=file
agent.channels.fileChannel.capacity=200000
agent.channels.fileChannel.transactionCapacity=1000
agent.channels.fileChannel.keep-alive=30
agent.channels.fileChannel.checkpointDir=/home/uh/flume/checkpointsuc
agent.channels.fileChannel.dataDirs=/home/uh/flume/datasuc

# The channel can be defined as follows.
agent.sources.spoolDir.channels=fileChannel

hasqjh7 发表于 2017-8-4 17:15
agent.sources=spoolDir
agent.channels=fileChannel
agent.sinks=avroSink2

agent.sources.spoolDir.deserializer.maxLineLength=65536

agent.channels.fileChannel.capacity=200000
agent.channels.fileChannel.transactionCapacity=1000
上面参数尝试调大些
agent.sources.spoolDir.deserializer.maxLineLength=655360

agent.channels.fileChannel.capacity=200000
agent.channels.fileChannel.transactionCapacity=200000

langke93 发表于 2017-8-4 17:37
agent.sources.spoolDir.deserializer.maxLineLength=65536

agent.channels.fileChannel.capacity=200 ...

配置文件是没问题的，数据重新流入是正常的，原样的配置文件保持不变，原来平均一天要报这个错的，现在，三台中有两天，才会报，另一台就不报。估计还是有别的原因吧！谢谢！

hasqjh7 发表于 2017-8-14 17:00
配置文件是没问题的，数据重新流入是正常的，原样的配置文件保持不变，原来平均一天要报这个错的，现在， ...

是不是数据积累造成的。比如channel，磁盘，内存等原因造成。还有是不是改动了什么，时间往后延迟了。

langke93 发表于 2017-8-14 20:29
是不是数据积累造成的。比如channel，磁盘，内存等原因造成。还有是不是改动了什么，时间往后延迟了。

...

配置没问题，数据没问题，有问题的话，也就可能是你所高新技术了，磁盘有问题吧。有时候一天就报错，有时候，连续半个月，没问题！现在加了一些别的策略，间接地解决了这个问题！

@hasqjh7
我们项目组是使用flume+kafka的，最近也是碰到了
org.apache.avro.AvroRuntimeException: java.io.IOException: Block size invalid or too large for this implementation: -2685
你是加了什么策略解决这些问题的呢?还请大神赐教哦