分享

Pig 导出Hbase表报错

Wyy_Ck 发表于 2016-12-22 11:07:32 [显示全部楼层] 回帖奖励 阅读模式 关闭右栏 5 9731
[mw_shl_code=shell,true]<file file:///opt/hadoop/pig-0.15.0/mr.pig, line 3, column 4> pig script failed to validate: java.lang.RuntimeException: could not instantiate 'org.apache.pig.backend.hadoop.hbase.HBaseStorage' with arguments '[tab1_info:age]'[/mw_shl_code]


Hbase表:
[mw_shl_code=shell,true]hbase(main):020:0> scan 'table1'
ROW                                              COLUMN+CELL                                                                                                                                   
key0ne                                          column=tab1_info:age, timestamp=1482223307185, value=24                                                                                       
key0ne                                          column=tab1_info:birthday, timestamp=1482223364986, value=1987-06-17                                                                          
key3                                            column=tab1_id:id, timestamp=1482312172123, value=100                                                                                         
key3                                            column=tab1_info:name, timestamp=1482327710869, value=100                                                                                    
key4                                            column=tab1_info:name, timestamp=1482327746997, value=100   [/mw_shl_code]

已有(5)人评论

跳转到指定楼层
nextuser 发表于 2016-12-22 14:48:45
应该是脚本和环境的问题。需一一排查
建议先贴出脚本
回复

使用道具 举报

Wyy_Ck 发表于 2016-12-22 15:14:10
[mw_shl_code=shell,true]
REGISTER /opt/hadoop/hbase-1.2.3/lib/htrace-core-2.01.jar;
REGISTER /opt/hadoop/pig-0.15.0/contrib/piggybank/Java/piggybank.jar;
x = LOAD 'hdfs:///hbase/data/default/table1' USING org.apache.pig.backend.hadoop.hbase.HBaseStorage('tab1_info:age');
STORE x INTO 'test-tbl-data.csv' USING PigStorage('$');[/mw_shl_code]

脚本或许有问题,我就是使用pig导出hbase csv文件

参考:http://blog.csdn.net/samhacker/article/details/21321045
回复

使用道具 举报

nextuser 发表于 2016-12-22 15:40:10
本帖最后由 nextuser 于 2016-12-22 15:51 编辑
Wyy_Ck 发表于 2016-12-22 15:14
[mw_shl_code=shell,true]
REGISTER /opt/hadoop/hbase-1.2.3/lib/htrace-core-2.01.jar;
REGISTER /opt/ ...

USING org.apache.pig.backend.hadoop.hbase.HBaseStorage('tab1_info:age');,这里面的字段尝试都写全了。
org.apache.pig.backend.hadoop.hbase.HBaseStorage这个确保引用到
回复

使用道具 举报

qcbb001 发表于 2016-12-22 15:59:06
也可能是环境变量原因。
推荐参考这个试试
不能将pig关系存到Hbase中问题原因

回复

使用道具 举报

Wyy_Ck 发表于 2016-12-22 20:44:17
尝试写全名称 啥意思,  是所有的列簇都写吗
我理解是不是把这个表里面的所以列簇 列名 都写进去
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

推荐上一条 /2 下一条