编译 sqoop 1.4.4 for hadoop 2.4.1

关于找不类class org.apache.sqoop.Sqoop的错误见博客：
http://my.oschina.net/AlbertHa/blog/323518

howtodown 发表于 2014-9-24 19:03
本帖最后由 howtodown 于 2014-9-24 21:21 编辑

说反了，sqoop1.4.5

楼主你好！
你的意思是：
1、Hadoop-2.4.1要使用sqoop-1.4.5的话，需要按照你上面的方法编译、压缩成sqoop-1.4.5.bin__hadoop-2.4.1.tar.gz才能用？那能否找别人拿一个这样现成的包来用呢？
2、sqoop-1.99.3不用编译，直接在官网下载，就能支持Hadoop-2.4.1 ？

求解答！！！！

等待 发表于 2014-10-9 23:29
楼主你好！
你的意思是：
1、Hadoop-2.4.1要使用sqoop-1.4.5的话，需要按照你上面的方法编译、压缩成 ...

没有看到官网给出相关版本，最好自己编译。

howtodown 发表于 2014-10-10 00:19
没有看到官网给出相关版本，最好自己编译。

楼主，sqoop-1.99.3不用编译，直接在官网下载，能支持Hadoop-2.4.1 ？


其实现在我遇到的问题是，能通过sqoop去list-tables等，就是export、import时报错，sqoop安装配置简单，现在就是不知道是jar包问题，还是直接不兼容：
Exception in thread "main" java.lang.VerifyError: Bad type on operand stack
Exception Details:
  Location:
    org/apache/hadoop/mapred/JobTrackerInstrumentation.create(Lorg/apache/hadoop/mapred/JobTracker;Lorg/apache/hadoop/mapred/JobConf;)Lorg/apache/hadoop/mapred/JobTrackerInstrumentation; @5: invokestatic
  Reason:
    Type 'org/apache/hadoop/metrics2/lib/DefaultMetricsSystem' (current frame, stack[2]) is not assignable to 'org/apache/hadoop/metrics2/MetricsSystem'
  Current Frame:
    bci: @5
    flags: { }
    locals: { 'org/apache/hadoop/mapred/JobTracker', 'org/apache/hadoop/mapred/JobConf' }
    stack: { 'org/apache/hadoop/mapred/JobTracker', 'org/apache/hadoop/mapred/JobConf', 'org/apache/hadoop/metrics2/lib/DefaultMetricsSystem' }
  Bytecode:
    0000000: 2a2b b200 03b8 0004 b0

等待 发表于 2014-10-10 09:35
楼主，sqoop-1.99.3不用编译，直接在官网下载，能支持Hadoop-2.4.1 ？

如果支持，官网会给出相应的包,你可以看下官网并没有给出，所以自己编译把



如下，官网已经明确给出了，那就不用自己编译了。

谢谢LZ，现在企业用的刚好是2.4版本的

感谢分享，学习。

请教个sqoop的问题：
--------------------------------------
我安装了hadoop2.5.1和sqoop-1.4.5.bin__hadoop-0.23.tar.gz，使用
sqoop export --connect jdbc:mysql://XXX/stat --table sqoop_user --columns "id,adate,uname,age"  --username root --password CCCCC --input-fields-terminated-by "\t" --export-dir /inputs/sqoop
可以成功将hdfs中的数据插入mysql中。

但我使用更新模式，也就是在上述命令中加入--update-key id后运行该命令，最后map任务完成，但reduce任务不开始运行，

14/11/12 13:54:12 INFO mapreduce.Job:  map 100% reduce 0%
复制代码

作业就一直不动了，有谁知道这种情况吗？谢谢
（ps：重新编译sqoop为hadoop2.5.1版本也不行）

wjhdtx 发表于 2014-11-12 13:54
请教个sqoop的问题：
--------------------------------------
我安装了hadoop2.5.1和sqoop-1.4.5.bin__h ...

确保版本兼容，编译正确，通用解决办法，看日志。

bioger_hit 发表于 2014-11-12 18:22
确保版本兼容，编译正确，通用解决办法，看日志。

多谢回复，都是看完日志解决不了才求助他人。

ps：昨天问题已经解决，在命令后面加了--update-mode  allowinser，就能更新了，按理说该参数有默认值啊。