搜索
搜 索
本版
文章
帖子
用户
图文精华
hadoop-2.6.0+zookeeper-3.4.6+hbase-1.0.0+hive-1.1.0完全分布 ...
首页
Portal
专题
BBS
面试
办公|编程助手
更多
登录
注册
用户组:游客
主题
帖子
云币
我的帖子
我的收藏
我的好友
我的勋章
设置
退出
导读
淘贴
博客
群组
社区VIP
APP下载
今日排行
本周排行
本周热帖
本月排行
本月热帖
会员排行
About云-梭伦科技
»
专题
›
交流区
›
OpenStack系列
›
求openstack、hadoop和磁盘阵列共存的解决方案
0
2
0
分享
求openstack、hadoop和磁盘阵列共存的解决方案
blownfire
发表于 2013-10-17 21:29:24
[显示全部楼层]
阅读模式
关闭右栏
2
5658
About云VIP帮助找工作和提升
目前项目环境搭建需要openstack和hadoop环境,openstack负责分配不同虚拟镜像,hadoop主要负责数据存储和将来mapreduce的计算。网络环境有32台服务器,一个磁盘阵列,要求提供高速文件访问和在不同虚拟机环境下的并行计算。请有经验的行家给个合理的解决方案。
自己的一些想法:
1、看到Savanna project的基本思路是把hadoop架设在openstack上,应该是利用openstack灵活分配虚拟镜像的能力,定制Name Node 、Data Node等节点镜像,然后由openstack负责根据用户指定规模和拓扑分配hadoop的分布式集群,但我不需要这么灵活,只要有一个hadoop集群就够了,那么将hadoop架设在openstack上的难度有哪些?会不会因为增加了openstack对虚拟镜像的管理而导致HDFS文件系统的性能受损?
2、在网上看到这种解决方案“在私有云环境中,常见的大数据部署模型之一是:将 OpenStack 的 Swift 存储技术部署到 Apache Hadoop MapReduce 集群,从而实现处理功能。”如果按这个思路,应该是openstack和hadoop分别部署,把openstack的swift部署到hadoop集群,那么在部署时将swift部署到磁盘阵列和hadoop集群有何区别,有何困难?
3、1或2的两个方案哪个更可行?如何使openstack和hadoop充分利用磁盘阵列的存储资源?
Hadoop
OpenStack
存储
集群
回复
使用道具
举报
提升卡
置顶卡
沉默卡
喧嚣卡
变色卡
千斤顶
显身卡
已有(2)人评论
电梯直达
正序浏览
anbo724
发表于 2013-10-17 21:30:12
楼主现在找到切实可行的方案没?我现在也处于跟你类似的阶段,anbo724@gmail.com希望可以讨论一下
回复
使用道具
举报
显身卡
cnsyoakley
发表于 2013-10-17 21:31:10
云计算很多东西需要继续研究
回复
使用道具
举报
显身卡
高级模式
B
Color
Image
Link
Quote
Code
Smilies
您需要登录后才可以回帖
登录
|
立即注册
本版积分规则
发表回复
回帖后跳转到最后一页
发表新帖
blownfire
新手上路
关注
主题
帖子
粉丝
TA的主题
求openstack、hadoop和磁盘阵列共存的解决方案
2013-10-17
求openstack、hadoop和磁盘阵列共存的解决方案
2013-10-16
24小时热文
Flink CDC:新一代实时数据集成框架
蚂蚁面试就是不一样
如何高效学习
人情世故速查速用大全集
框架思维
关闭
推荐
/2
中文版ChatGPT
1.无需魔法 2.提高编程效率 3.提高文档能力
查看 »
新手帮助
新手帮助:注册遇到问题,领取资源,加入铁粉群,不会使用搜索,如何获取积分等
查看 »
意见
反馈