分享

如何理解hbase适合随机访问这句话啊

ighack 2019-6-27 09:27:50 发表于 疑问解答 [显示全部楼层] 回帖奖励 阅读模式 关闭右栏 4 4596
我对随机访问这句话的理解还不够。只知道hbase是一个列式存储。在读取时可以只读取需要的列。不像mysql只能整行读取。多个列可以放到一个列族里。

hdfs是一个适合批量读取的。这里批量指的是一次读取大量数据。不适合多次读取小数据量的数据。不知道这样的理解对不对?


已有(4)人评论

跳转到指定楼层
s060403072 发表于 2019-6-27 18:49:56
随机访问,就像我们查字典,我们有时候想查这个字,有时候想查那个字,这就是随机访问。
随机访问就是不确定,不确定的时候该如何查找,我们通过目录【索引】,可以快速找到。同样hbase也是,我们只要知道rowkey可以快速的找到。

对于hdfs则不是了,由于他没有索引【也就是目录】,找一个字体,要全部数据查找,就像我们查找字典没有索引目录,一页页的翻,那得翻到什么时候。所以hdfs不适合随机访问。
回复

使用道具 举报

ighack 发表于 2019-6-28 08:57:10
我看了一些资料。感觉hbase不适合批量处理。是不是说不适合一性读取大批量数据。也不太适合做聚合操作
回复

使用道具 举报

s060403072 发表于 2019-6-28 21:32:04
ighack 发表于 2019-6-28 08:57
我看了一些资料。感觉hbase不适合批量处理。是不是说不适合一性读取大批量数据。也不太适合做聚合操作

可以结合es或则solr
hbase+solr操作手册及二级索引
http://www.aboutyun.com/forum.php?mod=viewthread&tid=27380


hbase是为查询的。
聚合可以使用hive或则spark等实现。
回复

使用道具 举报

ighack 发表于 2019-7-1 09:59:03
s060403072 发表于 2019-6-28 21:32
可以结合es或则solr
hbase+solr操作手册及二级索引
http://www.aboutyun.com/forum.php?mod=viewthread ...

spark是离线操作的。无法进行交互式查询
类似impala和drill这两个好像与是批处理。不知道是否适合hbase这个样的随机访问
现在还是一个kudu好像说是介于hdfs和hbase之间的一个东西
可能适应一些批量处理又可以适用一点随机访问


回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

推荐上一条 /2 下一条