分享

flume 的kafkachannel问题 数据解析的问题

如果以kafka做为flume的channel ,当我自己写程序消费里面的数据时,数据出现了乱码,当我用loggerSink 读取时,数据是这样的
下载1.png
最后的3333才是我要的数据,
在程序里我读到的是
下载2.png
想问下各位有试过怎么把从kafka读取kafkachannel 的数据解析出来或者重新封装成Event 的方法吗?

已有(4)人评论

跳转到指定楼层
pq2527991 发表于 2016-9-20 10:07:49
那两个图没显示出来,一个是
SinkRunner-PollingRunner-DefaultSinkProcessor) [INFO - org.apache.flume.sink.LoggerSink.process(LoggerSink.java:94)] Event: { he
aders:{testkey=3333} body: 33 33 33 33                                     3333 }
另外一个是  testkey22dsds3434
回复

使用道具 举报

langke93 发表于 2016-9-20 15:04:35
pq2527991 发表于 2016-9-20 10:07
那两个图没显示出来,一个是
SinkRunner-PollingRunner-DefaultSinkProcessor)  Event: { he
aders:{test ...

尝试kafka consumer
存储的数据,直接取可能会存在问题,比如楼主直接查看hdfs文件,应该也存在问题
回复

使用道具 举报

arsenduan 发表于 2016-9-20 15:40:12
本帖最后由 arsenduan 于 2016-9-20 15:41 编辑

既然使用flume不需要自己取数据的。可以配置下sink,通过flume传递到你想传递的位置



回复

使用道具 举报

pq2527991 发表于 2016-9-23 09:42:24
数据需要解析,因为分两条路的,这个解决了,按照flume源码将kafka里的数据重封装会Event,然后取其中的body就ok了
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

推荐上一条 /2 下一条