尝试通过Sqoop2向Hbase中import数据过程报错

s060403072 · 发表于 2015-5-13 13:10:02

没有HADOOP_CLASSPATH，楼主试试自己添加上。

1、在集群环境变量 etc/profiles 里添加如下配置：
export HADOOP_CLASSPATH=$HADOOP_CLASSPATH:/home/hadoop/hbase-0.96.2-hadoop2/lib/hbase-protocol-0.96.2-hadoop2.jar
注意：hbase-protocol-*.jar 的路径根据自己配置目录而定。
2、执行source /etc/profile，是配置生效

blackmoon · 发表于 2015-5-13 13:26:48

s060403072 发表于 2015-5-13 13:10
没有HADOOP_CLASSPATH，楼主试试自己添加上。

1、在集群环境变量 etc/profiles 里添加如下配置：

设置了，报错微妙的有了变化= =，但是还是没过去....

原报错：

java.lang.IllegalAccessError: class com.google.protobuf.HBaseZeroCopyByteString cannot access its superclass com.google.protobuf.LiteralByteString

现报错：

java.lang.IllegalAccessError: com/google/protobuf/HBaseZeroCopyByteString

s060403072 · 发表于 2015-5-13 13:58:14

blackmoon 发表于 2015-5-13 13:26
设置了，报错微妙的有了变化= =，但是还是没过去....

原报错：

有反应就好，贴出全部错误看看

blackmoon · 发表于 2015-5-13 14:16:22

本帖最后由 blackmoon 于 2015-5-13 16:02 编辑

s060403072 发表于 2015-5-13 13:58
有反应就好，贴出全部错误看看

报错唯一的变化就是我标出来的红色部分的变化，其他还都一样 = =
不过这个报错我解决了，虽然后面又出来了其他问题，不过也算前进一步。

感谢各位的协助，我现在把解决办法写出来：

由于上面lsof查看，jar包已经被进程使用了，我就开始怀疑不是加载的问题，于是先忘记前面查看http://my.oschina.net/zhangliMyOne/blog/97236时先入为主的思路，返回java报错本身来看。

java.lang.IllegalAccessError: class com.google.protobuf.HBaseZeroCopyByteString cannot access its superclass com.google.protobuf.LiteralByteString

那么com.google.protobuf.HBaseZeroCopyByteString这个class到底是在哪里呢？

于是写了个脚本来搜索，然后发现com.google.protobuf.HBaseZeroCopyByteString这个class就在hbase-protocol-0.98.6-cdh5.3.3.jar里面......

根本不是加载问题......没加载上连这个错误都不会有.......

那么com.google.protobuf.LiteralByteString这个类又在哪里呢？发现在hadoop的lib下面就有protobuf-java-2.5.0.jar。

然后再返回完整报错，程序应该是执行到sqoop2尝试连接hbase获取meta data，那么应该是sqoop2调用com.google.protobuf.HBaseZeroCopyByteString时发生的问题，于是把protobuf-java-2.5.0.jar拷贝到sqoop2的lib下面一份，重启sqoop2，再次执行job，不再报这个错误了，现在想来加载不到superclass，自然也就cannot access.....不过貌似会报java.lang.IllegalAccessError的原因还有好几种，这次是这样，之后遇到问题还是不能一概而论。

新出现的报错内容如下，这已经是连接上hbase后，发现没有表所以才报错了，应该算前进了一大步吧~

Caused by: org.apache.phoenix.schema.TableNotFoundException: ERROR 1012 (42M03): Table undefined. tableName=MAIN.USERS