flume怎么取redis消息队列数据

我们需要从其他地方获取redis的消息队列，格式为json.对方不愿意改成普通的日志文件格式。
那么，我可以通过flume获取吗？该怎么配置？或者有别的更好的方式吗？
初学flume，请教

nextuser · 发表于 2016-9-13 16:18:46

这里面的问题，需要楼主详细描述。

如果说是消息队列，flume需要redis组件，或则自己开发flume获取redis消息。
对于官网提供的内容：
http://flume.apache.org/FlumeUserGuide.html

如果说是存在磁盘上的，flume应该都是可以的。

easthome001 · 发表于 2016-9-13 16:22:00

本帖最后由 easthome001 于 2016-9-13 16:36 编辑

如果是redis作为消息队列，有点像kafka，官网有提供的kafka组件。但是没有redis组件
flume二次开发，应该是可以实现的

师太跟我吧 · 发表于 2016-9-13 16:53:29

本帖最后由师太跟我吧于 2016-9-13 16:58 编辑

那如果不用flume，有没有别的方式可以接收消息队列，最终只要能加载到hdfs上就可以

arsenduan · 发表于 2016-9-13 20:05:53

师太跟我吧发表于 2016-9-13 16:53
那如果不用flume，有没有别的方式可以接收消息队列，最终只要能加载到hdfs上就可以

方法很多种：

1.可以通过Java实现读取消息，然后直接通过hadoop api放到hdfs上。

推荐参考
Hadoop培训笔记之HDFS编程
http://www.aboutyun.com/forum.php?mod=viewthread&tid=6894

hadoop实战：Java对hdfs的编程

http://www.aboutyun.com/forum.php?mod=viewthread&tid=6500

自己也可以找到相关资料

2.可以读取消息后存储到磁盘上，然后通过flume传递。