分享

利用HDFS做并行计算

poptang4 发表于 2013-10-25 10:45:59 [显示全部楼层] 回帖奖励 阅读模式 关闭右栏 2 5000
HDFS和并行计算都有个共同点,就是有很多台机器。能不能利用datanode上存的数据,利用openmpi,进行并行计算呢。

已有(2)人评论

跳转到指定楼层
goldtimes 发表于 2013-10-25 10:45:59
openmpi不熟,但是和HDFS结合应该没,把hdfs当存储,调它的接口要数据。效率肯定是要低一些,貌似mpi的并行计算是把数据移动到计算节点来做的。
amazon的s3和ec2也是分开的。
回复

使用道具 举报

when30 发表于 2013-10-25 10:45:59
感觉这个是可行的,上次hadoop in China时,百度的工程师说过这种策略是可以的。
其实MPI和MapReduce是一个层次的东西,下层的文件系统可以是一样的。
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

推荐上一条 /2 下一条