分享

hbase 导入mapred.LocalJobRunner:模式,是不是本地模式没走mapreduce,要怎么设置

ananan36 发表于 2017-4-22 06:19:13 [显示全部楼层] 回帖奖励 阅读模式 关闭右栏 1 6243
hbase org.apache.hadoop.hbase.mapreduce.ImportTsv -Dimporttsv.separator=, -Dimporttsv.columns=HBASE_ROW_KEY,name:info imsi_detail2017042108 /user/hivedata/imsi_detail2017042108/000000_25

17/04/21 15:24:29 INFO mapred.JobClient:  map 73% reduce 0%
17/04/21 15:24:31 INFO mapred.LocalJobRunner:
17/04/21 15:24:32 INFO mapred.JobClient:  map 78% reduce 0%
17/04/21 15:24:34 INFO mapred.LocalJobRunner:
17/04/21 15:24:35 INFO mapred.JobClient:  map 81% reduce 0%
17/04/21 15:24:37 INFO mapred.LocalJobRunner:
17/04/21 15:24:38 INFO mapred.JobClient:  map 88% reduce 0%
17/04/21 15:24:40 INFO mapred.LocalJobRunner:
17/04/21 15:24:41 INFO mapred.JobClient:  map 93% reduce 0%
17/04/21 15:24:43 INFO mapred.LocalJobRunner:
17/04/21 15:24:44 INFO mapred.JobClient:  map 96% reduce 0%
17/04/21 15:24:46 INFO mapred.LocalJobRunner:
17/04/21 15:24:47 INFO mapred.JobClient:  map 100% reduce 0%
17/04/21 15:24:48 INFO mapred.Task: Task:attempt_local_0001_m_000002_0 is done. And is in the process of commiting
17/04/21 15:24:49 INFO mapred.LocalJobRunner:
17/04/21 15:24:49 INFO mapred.LocalJobRunner:
17/04/21 15:24:49 INFO mapred.Task: Task 'attempt_local_0001_m_000002_0' done.
17/04/21 15:24:49 INFO mapreduce.TableOutputFormat: Created table instance for imsi_detail2017042108
17/04/21 15:24:49 INFO mapred.Task:  Using ResourceCalculatorPlugin : org.apache.hadoop.util.LinuxResourceCalculatorPlugin@cbcc33b0

已有(1)人评论

跳转到指定楼层
nextuser 发表于 2017-4-22 08:14:20
这也是mapreduce模式。mapreduce分为yarn模式和本地模式
配置参数:mapreduce.framework.name=local(yarn) ,  当为local时则运行为本地模式;当为yarn时则为运行yarn集群模式。

更多推荐参考

MapReduce案例yarn模式&本地模式




回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

推荐上一条 /2 下一条