cdh 5.3的sqoop 1 只能提交本地job是咋了

今天用sqoop 1 client把oracle的数据导入到hbase，发现只能提交本地job，首先是报hdfs上没有相关的jar包（之前测试安装是没有这种情况的），把提示的jar包按照目录拷贝至hdfs，开始生成本地job，生成的job名称就是job_localxxxxxxx_000X。然后终端就不断抛INFO：mapred.LocalJobRunner:map>map
INFO：mapred.LocalJobRunner:map>map
INFO：mapred.LocalJobRunner:map>map
INFO：mapred.LocalJobRunner:map>map

上面的jar包又拷贝回运行sqoop的当前目录。
这很不对啊。
仔细看了日志，sqoop读取的hadoop配置文件位置为/etc/hadoop/conf貌似没有问题。
实在想不出是哪里不对，求大神指条明路。

可能的原因有两个：
1.运行的本地模式，
2.hadoop2.x使用的MRv2，但是你仍然安装使用的是MRv1
详细参考
Job keeps running in LocalJobRunner under Cloudera

安装的是yarn (mr2 included),因为是parcels包安装的方式，因此应该不是mr1的问题。
您说的第一种情况，我不是很明白。因为没有加参数强制本地模式运行，前面测试安装时只有三台主机也是这么弄的。可以用sqoop导入数据。装了14台就出了这个问题。若是本地模式运行，怎么才能取消呢？

按照 Job keeps running in LocalJobRunner under Cloudera 这个帖子所说的情况，是用mr1的方式调用了mr2的job启动方式。按照这个思路，我这边的情况就是sqoop 1是按照mr1的方式启动了mr2的job，那就是sqoop的版本不对，sqoop应该对应mr1和mr2有不同的版本。cdh安装中并没有sqoop 1对应mr1还是mr2的选项，这个太头疼了。

karo_lee 发表于 2015-2-4 19:40
按照 Job keeps running in LocalJobRunner under Cloudera 这个帖子所说的情况，是用mr1的方式调用了mr2的 ...

你的提交命令是什么？
如果你提交的是本地job，跑的就是local job

例如下面就是本地job
sqoop create-hive-table –connect jdbc:mysql://localhost:3306/test
–table sqoop_test –username root –password 123456 –hive-table
test


下面就是一个远程job
./sqoop import –connect
jdbc:mysql://10.28.168.109:3306/compression –username=hadoop
–password=123456 –table HADOOP_USER_INFO -m 1 –target-dir
/user/test

nextuser 发表于 2015-2-4 23:21
你的提交命令是什么？
如果你提交的是本地job，跑的就是local job

我用的是sqoop import --connect jdbc:oralce:thin:@192.168.1.10:1521:orcl --username orcl -P --table t_cglkxx --hbase-table t_cglkxx --columnfamily info
我觉得数据库在不在本地没有影响。

重装解决，太水了我

本地job,远程job
应该指的是job定义保存在本地元数据仓库，还是远程元数据仓库中吧