分享

根据几万个字段,rowkey过滤查询问题

neilyo 发表于 2016-8-11 23:19:54 [显示全部楼层] 回帖奖励 阅读模式 关闭右栏 3 9912
小弟有一个job,要根据几万个userid,从几百万数据中查询出各行数据,rowkey中包含了userId,根据rowkey过滤查询,但是速度好慢,七八万个userId 要跑10个小时,,,,我是在java代码中起了30个线程,每次根据userid过滤查询一条,这样的话几万个userid就要查几万次,内存24G,3台集群, 实在是太慢了。。。请教下有没有好的解决方法。。。 或者需要配合别的工具一起使用查询吗 比如phoenix。。。
谢谢大家

已有(3)人评论

跳转到指定楼层
desehawk 发表于 2016-8-12 11:24:21
没太明白楼主的需求或则说为啥有这样的需求。方法有多种:
1最简单的优化集群
2创建二级索引
3与solr整合
回复

使用道具 举报

qcbb001 发表于 2016-8-12 16:37:22
楼主可以试试单个rowkey查询
如果单个比较慢,说明需要优化
回复

使用道具 举报

ideeper 发表于 2016-8-24 09:59:10
必须二级索引,你可以研究一下基于solr二级索引查询。过滤器很慢的
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

推荐上一条 /2 下一条