分享

求openstack、hadoop和磁盘阵列共存的解决方案

blownfire 发表于 2013-10-17 21:29:24 [显示全部楼层] 回帖奖励 阅读模式 关闭右栏 2 5658
目前项目环境搭建需要openstack和hadoop环境,openstack负责分配不同虚拟镜像,hadoop主要负责数据存储和将来mapreduce的计算。网络环境有32台服务器,一个磁盘阵列,要求提供高速文件访问和在不同虚拟机环境下的并行计算。请有经验的行家给个合理的解决方案。
自己的一些想法:
1、看到Savanna project的基本思路是把hadoop架设在openstack上,应该是利用openstack灵活分配虚拟镜像的能力,定制Name Node 、Data Node等节点镜像,然后由openstack负责根据用户指定规模和拓扑分配hadoop的分布式集群,但我不需要这么灵活,只要有一个hadoop集群就够了,那么将hadoop架设在openstack上的难度有哪些?会不会因为增加了openstack对虚拟镜像的管理而导致HDFS文件系统的性能受损?
2、在网上看到这种解决方案“在私有云环境中,常见的大数据部署模型之一是:将 OpenStack 的 Swift 存储技术部署到 Apache Hadoop MapReduce 集群,从而实现处理功能。”如果按这个思路,应该是openstack和hadoop分别部署,把openstack的swift部署到hadoop集群,那么在部署时将swift部署到磁盘阵列和hadoop集群有何区别,有何困难?
3、1或2的两个方案哪个更可行?如何使openstack和hadoop充分利用磁盘阵列的存储资源?
              
               
                    Hadoop
                    OpenStack
                    存储
                    集群
               

已有(2)人评论

跳转到指定楼层
anbo724 发表于 2013-10-17 21:30:12

            楼主现在找到切实可行的方案没?我现在也处于跟你类似的阶段,anbo724@gmail.com希望可以讨论一下
        
回复

使用道具 举报

cnsyoakley 发表于 2013-10-17 21:31:10

            云计算很多东西需要继续研究
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

推荐上一条 /2 下一条