flume怎么取redis消息队列数据
我们需要从其他地方获取redis的消息队列，格式为json.对方不愿意改成普通的日志文件格式。那么，我可以通过flume获取吗？该怎么配置？或者有别的更好的方式吗？
初学flume，请教
这里面的问题，需要楼主详细描述。
如果说是消息队列，flume需要redis组件，或则自己开发flume获取redis消息。
对于官网提供的内容：
http://flume.apache.org/FlumeUserGuide.html
如果说是存在磁盘上的，flume应该都是可以的。
本帖最后由 easthome001 于 2016-9-13 16:36 编辑
如果是redis作为消息队列，有点像kafka，官网有提供的kafka组件。但是没有redis组件
flume二次开发，应该是可以实现的
本帖最后由 师太跟我吧 于 2016-9-13 16:58 编辑
那如果不用flume，有没有别的方式可以接收消息队列，最终只要能加载到hdfs上就可以 师太跟我吧 发表于 2016-9-13 16:53
那如果不用flume，有没有别的方式可以接收消息队列，最终只要能加载到hdfs上就可以
方法很多种：
1.可以通过Java实现读取消息，然后直接通过hadoop api放到hdfs上。
推荐参考
Hadoop培训笔记之HDFS编程
http://www.aboutyun.com/forum.php?mod=viewthread&tid=6894
hadoop实战：Java对hdfs的编程
http://www.aboutyun.com/forum.php?mod=viewthread&tid=6500
自己也可以找到相关资料
2.可以读取消息后存储到磁盘上，然后通过flume传递。
arsenduan 发表于 2016-9-13 20:05
方法很多种：
1.可以通过Java实现读取消息，然后直接通过hadoop api放到hdfs上。
你说的第二种方式，怎么获取，然后存储呢？和第一种有相似之处感觉
师太跟我吧 发表于 2016-9-13 21:22
你说的第二种方式，怎么获取，然后存储呢？和第一种有相似之处感觉
网上应该有相关代码
1.首先读取消息，相信你能看到消息的内容。
2.然后处理消息。比如放到磁盘，可以以文件的方式存储
页:
[1]