分享

hive处理结果如何存储到hbase表里呢

yunge2016 发表于 2017-7-9 10:33:29 [显示全部楼层] 回帖奖励 阅读模式 关闭右栏 10 17569
现在写一个小项目,要求用hive处理后的结果要存储到hbase数据库中。请问如何才能实现呢。

已有(10)人评论

跳转到指定楼层
hyj 发表于 2017-7-9 11:08:07
其实还是思路问题。首先插入hbase应该没有问题吧。网上这方面资料很多。
hive处理后结果,这些值是可以获取的。在这里转换下思维,其实跟普通插入没有什么区别。因为普通插入是我们自己写值,hbase插入是获取值。其实就这么点区别。其它的完全一样。
只需要引入包,然后插入即可
回复

使用道具 举报

yunge2016 发表于 2017-7-9 11:16:19
hbase插入数据会操作。现在hive有2张表,我是不是在hbase中也要建2张表,然后每个功能的处理结果插入到对应的表里吗? 那个hive-hbase-handler. jar包导入了。感觉还是不太明白,如何才能获取到hive的值呢
回复

使用道具 举报

einhep 发表于 2017-7-9 13:03:50
yunge2016 发表于 2017-7-9 11:16
hbase插入数据会操作。现在hive有2张表,我是不是在hbase中也要建2张表,然后每个功能的处理结果插入到对应 ...

hive-hbase-handler. jar这个包,适用于整合的。你插入hive,应该不需要这个包。只需要hive包即可
回复

使用道具 举报

yunge2016 发表于 2017-7-9 13:30:42
现在我明明在整合的时候导入了这个hive-hbase-handler的jar包。还提示找不到是什么意思,着急
回复

使用道具 举报

einhep 发表于 2017-7-9 13:49:22
yunge2016 发表于 2017-7-9 13:30
现在我明明在整合的时候导入了这个hive-hbase-handler的jar包。还提示找不到是什么意思,着急

找不到正常,找到才不正常。
贴出图错误来看下。
你是在开发,还是在整合。
回复

使用道具 举报

yunge2016 发表于 2017-7-9 14:27:52
整合。
hive (hadoop3_project)> create table if not exists employee01(
                      >    user_id int,
                      >     name string,
                      >     age int,
                      >     sex string,
                      >     job string,
                      >     salary int,
                      >     address string,
                      >     job_type string)
                      >     STORED BY 'org.apache.hadoop.hive.hbase.HBaseStorageHandler'
                      >     with serdeproperties("hbase.columns.mapping"=":key,emp_info:user_id,emp_info:name,emp_info:age,emp_info:sex,emp_info:job,emp_other:salary,emp_other:address,emp_other:job_type")
                      >     TBLPROPERTIES("hbase.table.name"="beicai_project:employee01");
FAILED: SemanticException Cannot find class 'org.apache.hadoop.hive.hbase.HBaseStorageHandler'


回复

使用道具 举报

einhep 发表于 2017-7-9 14:41:42
yunge2016 发表于 2017-7-9 14:27
整合。
hive (hadoop3_project)> create table if not exists employee01(
                      >    u ...

版本对应上了吗?
版本对应关系可参考
hadoop,hbase,hive,zookeeper版本整合兼容性最全,最详细说明【适用于任何版本】
http://www.aboutyun.com/forum.php?mod=viewthread&tid=18015


回复

使用道具 举报

yunge2016 发表于 2017-7-9 14:48:30
hadoop-2.7.3, hbase-1.1.2 hive 1.2.1 版本。 版本之间错误这么麻烦,太痛苦了。快被弄神经了简直。
回复

使用道具 举报

einhep 发表于 2017-7-9 15:48:07
yunge2016 发表于 2017-7-9 14:48
hadoop-2.7.3, hbase-1.1.2 hive 1.2.1 版本。 版本之间错误这么麻烦,太痛苦了。快被弄神经了简直。

hadoop-2.7.3, hbase-1.1.2
这两个官网是NT,不一定兼容。
hive 1.2.1 兼容hbase0.98.x,最好使用hive2.x

回复

使用道具 举报

12下一页
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

推荐上一条 /2 下一条