Flume AvroRuntimeException问题，求救！

使用spooldir配置，读取本地目录的文件，并使用avro sink 远程的机器，最近老是报错，异常信息如下：01 Aug 2017 10:36:00,957 ERROR [pool-5-thread-1] (org.apache.flume.source.SpoolDirectorySource$SpoolDirectoryRunnable.run:262) - FATAL: Spool Directory source spoolDir: { spoolDir: /home/ads/flume-data }: Uncaught exception in SpoolDirectorySource thread. Restart or reconfigure Flume to continue processing.org.apache.avro.AvroRuntimeException: java.io.IOException: Block size invalid or too large for this implementation: -24

求各位大神解答，定谢！

arsenduan · 发表于 2017-8-2 19:01:50

如果英文不错的话，可以参考这个
https://stackoverflow.com/questions/36053306/cloudera-5-4-2-avro-block-size-is-invalid-or-too-large-when-using-flume-and-twi

可以尝试配置下属性
TwitterAgent.sources.Twitter.type = com.cloudera.flume.source.TwitterSource

下载包
flume-sources-1.0-SNAPSHOT.jar
然后放到
/var/lib/flume-ng/plugins.d/twitter-streaming/lib/flume-sources-1.0-SNAPSHOT.jar

更详细查看上面链接

yaojiank · 发表于 2017-8-2 19:02:47

改下这个属性试试
agent.sinks.hdfs.serializer=Text

hasqjh7 · 发表于 2017-8-3 10:03:50

本帖最后由 hasqjh7 于 2017-8-3 10:07 编辑

yaojiank 发表于 2017-8-2 19:02
改下这个属性试试
agent.sinks.hdfs.serializer=Text

这个 serializer是 Hdfs sink 的参数不是 avro sink的

谢谢！

hasqjh7 · 发表于 2017-8-3 10:05:14

arsenduan 发表于 2017-8-2 19:01
如果英文不错的话，可以参考这个
https://stackoverflow.com/questions/36053306/cloudera-5-4-2-avro-blo ...

我使用的是 flume-ng 1.6 source:spooldir sink: avrosink
你发的我也看到了，他的那个是Twitter的source ，还不是这个 avro sink。
谢谢!

yuwenge · 发表于 2017-8-3 12:36:26

flume是否还能传输数据，如果还能传输的话，应该没有问题。
这是因为flume没有待上传的文件，可能空跑导致的。

hasqjh7 · 发表于 2017-8-3 14:53:27

yuwenge 发表于 2017-8-3 12:36
flume是否还能传输数据，如果还能传输的话，应该没有问题。
这是因为flume没有待上传的文件，可能空跑导致 ...

有数据的，不为空：Block size invalid or too large for this implementation: -105357068819464

easthome001 · 发表于 2017-8-3 19:39:27

hasqjh7 发表于 2017-8-3 14:53
有数据的，不为空：Block size invalid or too large for this implementation: -105357068819464

Block size invalid or too large for this implementation: -24
Block size invalid or too large for this implementation: -105357068819464

上面数据为负，可能导致产生这个问题。