专题 › Flume › flume 的kafkachannel问题 数据解析的问题

pq2527991 发表于 2016-9-20 10:05:07

flume 的kafkachannel问题 数据解析的问题

如果以kafka做为flume的channel ，当我自己写程序消费里面的数据时，数据出现了乱码，当我用loggerSink 读取时，数据是这样的

最后的3333才是我要的数据，
在程序里我读到的是

想问下各位有试过怎么把从kafka读取kafkachannel 的数据解析出来或者重新封装成Event 的方法吗？

pq2527991 发表于 2016-9-20 10:07:49

那两个图没显示出来，一个是
SinkRunner-PollingRunner-DefaultSinkProcessor) Event: { he
aders:{testkey=3333} body: 33 33 33 33                                     3333 }
另外一个是testkey22dsds3434

langke93 发表于 2016-9-20 15:04:35

pq2527991 发表于 2016-9-20 10:07
那两个图没显示出来，一个是
SinkRunner-PollingRunner-DefaultSinkProcessor)Event: { he
aders:{test ...

尝试kafka consumer
存储的数据，直接取可能会存在问题，比如楼主直接查看hdfs文件，应该也存在问题

arsenduan 发表于 2016-9-20 15:40:12

本帖最后由 arsenduan 于 2016-9-20 15:41 编辑

既然使用flume不需要自己取数据的。可以配置下sink，通过flume传递到你想传递的位置

pq2527991 发表于 2016-9-23 09:42:24

数据需要解析，因为分两条路的，这个解决了，按照flume源码将kafka里的数据重封装会Event，然后取其中的body就ok了

查看完整版本: flume 的kafkachannel问题 数据解析的问题