hive为什么与hbase整合

烤玉米馒頭！ · 发表于 2015-4-14 13:16:22

如果整合后,load 文件内容到hive表,相同的内容也会存入hbase表吗?如果是,那不是存在两份数据了:一份是hive表的数据,一份是hbase表的.

desehawk · 发表于 2015-4-14 13:30:58

烤玉米馒頭！发表于 2015-4-14 13:16
如果整合后,load 文件内容到hive表,相同的内容也会存入hbase表吗?如果是,那不是存在两份数据了:一份是hive ...

一份数据，分别读取，二者是相互通信的

烤玉米馒頭！ · 发表于 2015-4-14 13:38:21

desehawk 发表于 2015-4-14 13:30
一份数据，分别读取，二者是相互通信的

那数据是存hive还是hbase?看来我要做下测试~

eggjlh9 · 发表于 2015-4-16 10:37:24

谢谢楼主分享！

long_ac · 发表于 2015-7-15 17:07:39

烤玉米馒頭！发表于 2015-4-14 13:38
那数据是存hive还是hbase?看来我要做下测试~

hive是逻辑表，没有具体的数据存储的，通过M/R去hdfs上读取数据
hbase是物理表，负责数据的存储，有自己的存储方式及存储优化，数据最后存放在hdfs文件系统上面

烤玉米馒頭！ · 发表于 2015-7-16 12:41:20

long_ac 发表于 2015-7-15 17:07
hive是逻辑表，没有具体的数据存储的，通过M/R去hdfs上读取数据
hbase是物理表，负责数据的存储，有自己 ...

谢谢,不过都是存储在hdfs上的吧

cdb521007 · 发表于 2015-7-26 22:35:29

楼主真厉害，讲的很透彻，回答的问题也很明确，学习了

aurae · 发表于 2015-9-9 15:41:27

我感觉使用hive查询hbse的外部表这种方法，实在是太慢了。两个hbase表都是2000万的数据量，关联join查询后，效率太低了，至少得执行两小时以上。
lz你说呢，或者有什么改进效率的方案吗

jancan · 发表于 2015-9-14 20:58:22

研究的挺深的，学习学习

小飞鱼123 · 发表于 2015-11-1 21:58:58

hive是逻辑表，没有具体的数据存储的，通过M/R去hdfs上读取数据
hbase是物理表，负责数据的存储，有自己的存储方式及存储优化，数据最后存放在hdfs文件系统上面

图文精华