搜索
搜 索
本版
文章
帖子
用户
图文精华
hadoop-2.6.0+zookeeper-3.4.6+hbase-1.0.0+hive-1.1.0完全分布 ...
首页
Portal
专题
BBS
面试
更多
登录
注册
用户组:游客
主题
帖子
云币
我的帖子
我的收藏
我的好友
我的勋章
设置
退出
导读
淘贴
博客
群组
社区VIP
APP下载
今日排行
本周排行
本周热帖
本月排行
本月热帖
会员排行
About云-梭伦科技
»
专题
›
交流区
›
技术交流
›
HDFS
›
利用HDFS做并行计算
0
2
0
分享
利用HDFS做并行计算
poptang4
发表于 2013-10-25 10:45:59
[显示全部楼层]
阅读模式
关闭右栏
2
5000
HDFS和并行计算都有个共同点,就是有很多台机器。能不能利用datanode上存的数据,利用openmpi,进行并行计算呢。
回复
使用道具
举报
提升卡
置顶卡
沉默卡
喧嚣卡
变色卡
千斤顶
显身卡
已有(2)人评论
电梯直达
正序浏览
goldtimes
发表于 2013-10-25 10:45:59
openmpi不熟,但是和HDFS结合应该没,把hdfs当存储,调它的接口要数据。效率肯定是要低一些,貌似mpi的并行计算是把数据移动到计算节点来做的。
amazon的s3和ec2也是分开的。
回复
使用道具
举报
显身卡
when30
发表于 2013-10-25 10:45:59
感觉这个是可行的,上次hadoop in China时,百度的工程师说过这种策略是可以的。
其实MPI和MapReduce是一个层次的东西,下层的文件系统可以是一样的。
回复
使用道具
举报
显身卡
高级模式
B
Color
Image
Link
Quote
Code
Smilies
您需要登录后才可以回帖
登录
|
立即注册
本版积分规则
发表回复
回帖后跳转到最后一页
发表新帖
poptang4
中级会员
关注
49
主题
134
帖子
3
粉丝
TA的主题
移动网络都无法访问 sae
2013-12-17
【共勉】移动研发者走向全能研发者的五大技能
2013-12-17
Android 4.3 正式到来
2013-12-17
基于libevent, libuv和android Looper不断演进socket编程
2013-12-15
MapReduce部分类图
2013-10-26
24小时热文
互联网大厂年终福利曝光:看看别人家老板怎
矩阵分析引论罗家洪(第四版)
像高手一样发言:七种常见工作场景的说话之
携程允许员工春节回乡办公2个月
数据治理实施方案
关闭
推荐
/2
中文版ChatGPT
1.无需魔法 2.提高编程效率 3.提高文档能力
查看 »
新手帮助
新手帮助:注册遇到问题,领取资源,加入铁粉群,不会使用搜索,如何获取积分等
查看 »
意见
反馈