MapReduce初级案例（1）：使用MapReduce去重

PeerQuan · 发表于 2015-3-5 11:52:34

弱弱的问下楼主我这个错误是为啥 S9ZOGAR6GN}M3SVFRTQHRZU.jpg

tang · 发表于 2015-3-7 14:47:52

不错啊！！！学习了

lyyitit · 发表于 2015-3-17 12:13:02

不错哈谢谢啦

Minimumy · 发表于 2015-3-28 14:09:32

每天进步一点点，学习了！

ainubis · 发表于 2015-3-29 19:22:38

谢谢楼主分享。

tang · 发表于 2015-4-4 13:17:33

shanquan2006 · 发表于 2016-1-27 11:42:02

请问群主：
｛所以从设计好的reduce输入可以反推出map的输出key应为数据，value任意。继续反推，map输出数据的key为数据，而在这个实例中每个数据代表输入文件中的一行内容，所以map阶段要完成的任务就是在采用Hadoop默认的作业输入方式之后，将value设置为key，并直接输出（输出中的value任意）。｝
map中的value是一行数据，那么key是什么呢？

jiadianyan · 发表于 2016-7-13 09:40:42

感谢楼主，很详细。

xiaoskery · 发表于 2016-7-19 22:28:57

1.使用MultipleOutputs设置了两个输出文件a和b.
2.设置setNumReduceTasks为1.
3.当输入文件只有一个时，输出结果为a和b。
4.当输入文件为两个时，输出结果为a-m-0000,a-m-0001,b-m-0000,b-m-0001.
5.两个输入文件都非常小。

问题：如何让输出文件只有a和吧。

hihiheihei · 发表于 2016-8-6 17:13:37

学习了

图文精华

MapReduce初级案例（1）：使用MapReduce去重

推荐 /2