专题 › Hadoop|YARN › MR编程如何只map不reduce且不进行sort与shuffle

1234567_e8xaE 发表于 2018-7-24 10:07:05

MR编程如何只map不reduce且不进行sort与shuffle

如题，只需要map过程，分片处理一下数据，数据无序，所以用不上sort与shuffle，就想着这么把这两个过程去掉，求前辈们帮忙啊

w123aw 发表于 2018-7-24 20:15:04

不想要reduce就把其设置为NONE
job.setNumReduceTasks(0);//设置个数为0 ；
也可以在mapred-site.xml下设置：
<property>
    <name>mapred.reduce.tasks</name>
    <value>0</value>
</property>

1234567_e8xaE 发表于 2018-7-25 15:05:48

w123aw 发表于 2018-7-24 20:15
不想要reduce就把其设置为NONE
job.setNumReduceTasks(0);//设置个数为0 ；
也可以在mapred-site.xml下 ...

这样设置后，map出的数据会进行sort吗？

查看完整版本: MR编程如何只map不reduce且不进行sort与shuffle