分享

hbase如何分页(比如跳到某一页)

about321 发表于 2016-6-29 13:30:16 [显示全部楼层] 只看大图 回帖奖励 阅读模式 关闭右栏 7 18431
目前做出来的分页是,用上一页的最后一条加偏移量当作当前页的startRow去算,这样只能一页一页的往下。
如何实现跳到某一页呢。一开始就要算好每页的start吗,如果有搜索条件呢
尝试过scan去遍历跳过指定条数,但是scan在数据量大(不指定start-end)的时速度太慢了。

已有(7)人评论

跳转到指定楼层
xuanxufeng 发表于 2016-6-29 15:00:51
首先通过count计算出总的,多少条数据一页,然后算出star和end,应该就可以了。
如果指定页,只要计算出start和end就可以了
回复

使用道具 举报

about321 发表于 2016-6-29 15:35:07
xuanxufeng 发表于 2016-6-29 15:00
首先通过count计算出总的,多少条数据一页,然后算出star和end,应该就可以了。
如果指定页,只要计算出st ...

确实是可以 但是不指定startrow ,scan遍历很慢 。就类似用scan去计算总条数很慢(已经加了keyonlyfilter),现在总条数是用AggregationClient去算的。scan遍历count要10多秒。难道我哪里搞错了?
133.png
回复

使用道具 举报

qcbb001 发表于 2016-6-29 16:41:55
本帖最后由 qcbb001 于 2016-6-29 17:16 编辑

hbase搜索其实是rowkey的搜索,其它搜索几乎不可能的因为很慢。
如果有其它搜索的话,一般是hbase+solr组合。
回复

使用道具 举报

georgehym 发表于 2016-6-30 08:35:15
感觉不应该这么慢的啊
回复

使用道具 举报

starrycheng 发表于 2016-7-1 15:20:59
georgehym 发表于 2016-6-30 08:35
感觉不应该这么慢的啊

如果非rowkey,非常慢的
回复

使用道具 举报

ideeper 发表于 2016-8-24 09:56:25
本帖最后由 ideeper 于 2016-8-24 09:57 编辑

楼主你好,最近我也在研究这个问题。Hbase分页查询,中间牵扯到不少问题。
尤其是,分页查询,应不应该使用过滤器的问题。等
你QQ多少?发我,我加你。讨论下。

回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

推荐上一条 /2 下一条