zeus_lhl 发表于 2016-10-27 15:00:13

flume个性化处理json数据

flume source 段json字符串，现在想把它转换成普通的字符串，存储到hdfs或者hive中，怎么做呢？我用的flume，但不太会，现在拿到hdfs上，也是json格式。我想在存入hdfs前，把这个json串进行一个个性化处理，然后按照格式化后的数据格式，存储到hive或者hdfs中。
具体怎么做

einhep 发表于 2016-10-27 15:25:15

方法两个：
1.二次开发flume
2.在源头过滤下，也就是没有传递的时候，把json转换成正常字符串。或则在hdfs上通过mapreduce处理下。

zeus_lhl 发表于 2016-10-27 15:28:55

einhep 发表于 2016-10-27 15:25
方法两个：
1.二次开发flume
2.在源头过滤下，也就是没有传递的时候，把json转换成正常字符串。或则在hdf ...

怎么二次开发

langke93 发表于 2016-10-27 15:32:06

zeus_lhl 发表于 2016-10-27 15:28
怎么二次开发



下面是一些资料：
Flume1.3开发者指南【英文版about云提供】
http://www.aboutyun.com/forum.php?mod=viewthread&tid=15335


【Flume】flume文件监控的source组件开发，增量传输文件内容，支持断点续传功能

http://www.aboutyun.com/forum.php?mod=viewthread&tid=13757


flume 插件开发介绍

http://www.aboutyun.com/forum.php?mod=viewthread&tid=8315


更多官网
http://flume.apache.org/FlumeDeveloperGuide.html

zeus_lhl 发表于 2016-10-27 18:22:40

langke93 发表于 2016-10-27 15:32
下面是一些资料：
Flume1.3开发者指南【英文版about云提供】
http://www.aboutyun.com/forum.php?m ...

这个所谓的二次开发和开发interceptors有什么区别吗

w517424787 发表于 2016-10-28 22:49:02

二次开发还是麻烦了，咋不在flume之前就把json格式数据转换成你想要的格式，这样还方便点！

目前_还活着 发表于 2016-11-2 17:19:15

直接在sink 里面把json 转成你想要的格式再sink
页: [1]
查看完整版本: flume个性化处理json数据