分享

Hadoop:Eclipse中运行Job,如何实现多个reducer

hyj 发表于 2014-4-13 18:00:45 [显示全部楼层] 回帖奖励 阅读模式 关闭右栏 1 7322
已经在集群机器的mapred-site.xml中设置了mapred.tasktracker.reduce.tasks.maximum为10,同时在代码中也设置了jobConf.setNumReduceTasks(5)。
命令行打包并执行job时是正常的,但是如果用eclipse运行任务,只启动了一个reduce。
也尝试着在eclipse的 Map/Reduce Locations中修改了mapred.reduce.tasks 为 10,但不起作用。
请问是不是还需要在eclipse中做其他设置才行呢?
谢谢!

已有(1)人评论

跳转到指定楼层
desehawk 发表于 2014-4-13 18:01:40
eclipse默认是localJobRunner启动,只有一个reducer,可以通过将配置目录加入classpath,和增加打包的函数实现到分布式上运行,就能启动多个reducer了。
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

推荐上一条 /2 下一条