分享

MapReduce为啥不适合做图计算

datong838 发表于 2013-10-26 15:12:08 [显示全部楼层] 回帖奖励 阅读模式 关闭右栏 1 7353
Google在SIGMOD10上发表了文章Pregel: A System for large-scale graph processing .文章里提到说Pregel是非常适合做图运算,而MapReduce 不适合做图运算(像PageRank,最短路径算法等)。而且有一种说法,google 80%运算用MapReduce,20%用Pregel,它主要是做些图的优化。我不是很清楚为啥MapReduce不适合做图计算。恳请高人给详细解释一下。  如果可以的话就一个具体的图算法,如pagerank,对比一下两者的区分说一下也好。 在此先感谢一下。

已有(1)人评论

跳转到指定楼层
lovejunxia 发表于 2013-10-26 15:12:08
我想主要是Mapreduce的map任务之间如果存在相互依赖的话,就很难处理,一个map可能需要读取的文件block不仅仅是一个,而且需要多次循环运行map和reduce,并产生大量中间数据,
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

推荐上一条 /2 下一条