分享

mapreduce 在elipse 下运行 reduce个数的设置问题

jixianqiuxue 发表于 2013-10-16 13:39:01 [显示全部楼层] 回帖奖励 阅读模式 关闭右栏 1 6864
我在exlipse写了一个MR的程序,设置reduce的个数是3,setNumReduceTasks(3),但是在elipse执行完成之后再output目录下只生成了一个文件,也就是说在运行的时候只是有一个reduce在运行。我再写了一个partitoner的类,
在getParttion()中后台打印出numPartition的值(这个值总会等于reduce的个数),打印出来的结果总是1,无论我setNumReduceTasks为多少。我的开发环境是是伪分布,都共用一个节点。 但是奇怪,当我从exlipse吧这个MR导出成jar包,然后用 # hadoop jar tour.TourDriver 运行,在output目录下生成3个文件了。 有谁知道为什么exlipse下只能运行一个reduce吗?
              
         

已有(1)人评论

跳转到指定楼层
s060403072 发表于 2013-10-16 13:39:36

            eclipse下开发时,不但程序里要设置,还要重新设置MR配置
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

推荐上一条 /2 下一条