About云-梭伦科技»专题 › 交流区 › 技术交流 › MapReduce › MapReduce设置reduce任务为0运行结果解析

MapReduce设置reduce任务为0运行结果解析

查看数: 54381 | 评论数: 6 | 收藏 1

关灯 | 提示：支持键盘翻页<-左右->

帖子模式

轩辕依梦Q

发布时间: 2015-5-31 17:43

正文摘要:

本帖最后由轩辕依梦Q 于 2015-5-31 17:45 编辑最近在学习mapreduce的shuffle机制，讲解的很多，但是如果没有reduce运行会怎么样的结果，并没有找到相关的案例，所以自己做了个测试，把结果分享一下,以wordcou ...

轩辕依梦Q 发表于 2015-6-4 00:02:47

Alkaloid0515 发表于 2015-6-3 09:45
敢问楼主是如何调试的，有没有文章推荐下

http://www.aboutyun.com/thread-12705-1-1.html

这里是远程调试mapreduce，可以看看

轩辕依梦Q 发表于 2015-6-3 22:28:45

Alkaloid0515 发表于 2015-6-3 09:45:37

evababy 发表于 2015-6-1 10:20:12

如果只想让combiner运行可以通过
job.setCombinerClass(XX.class);
//job.setReducerClass(XX.class);
//job.setNumReduceTasks(0);
由于combiner底层是reducer所以combiner的执行结果也把结果输出到一个文件中

langke93 发表于 2015-5-31 18:02:56

图文精华

MapReduce设置reduce任务为0运行结果解析

正文摘要:

回复

推荐 /2