分享

MapReduce只需要一个输出文件时reduce个数难题。

fylanyu 发表于 2013-10-26 15:11:03 [显示全部楼层] 回帖奖励 阅读模式 关闭右栏 1 7066
我需要处理一个文件,文件中存放了一个浮点数矩阵,需要对文件中每一个浮点数进行计算,转换成另一个浮点数。输出结果是一个新的矩阵。
        我用map将矩阵文件拆分,每个map任务处理一个矩阵的一部分。而输出的时候由于我只需要一个输出文件,所以这个时候我设置reduce个数为1. 但是,你知道,reduce个数为1的时候效率很低的,每个map任务都要把数据传送给这个reduce,体现不出分布式处理的优势了。咋办吗?
        而如果把reduce个数设置为多个,那么最终我的输出还是需要一个文件,怎样合并reduce输出的多个文件为一个吗?
        或者,这样的有没有其他方法解决?

已有(1)人评论

跳转到指定楼层
lovejunxia 发表于 2013-10-26 15:11:03
能尝试先用多个reduce做一下,然后对reduce的结果进行合并吗吗?
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

推荐上一条 /2 下一条