图文精华

About云-梭伦科技»专题 › 技术学习(版主发帖区) › 大数据学习 › Hbase › 实操演练› hbase RowFilter如何根据rowkey查询以及实例实现代码
分享

hbase RowFilter如何根据rowkey查询以及实例实现代码

pig2 2014-8-23 20:09:44 发表于 实操演练 [显示全部楼层] 回帖奖励 阅读模式 关闭右栏 6 103891
About云VIP帮助找工作和提升
本帖最后由 pig2 于 2017-3-3 17:00 编辑

问题导读：
1.如何根据rowkey模糊查询？
2.如何使用Comparator过滤rowkey？
3.如何查询rowkey中包含有某字符串的数据?





RowFilter用于过滤row key
OperatorDescription
LESS小于
LESS_OR_EQUAL小于等于
[EQUAL等于
NOT_EQUAL不等于
GREATER_OR_EQUAL大于等于
GREATER大于
NO_OP排除所有

ComparatorDescription
BinaryComparator使用Bytes.compareTo()比较
BinaryPrefixComparator和BinaryComparator差不多，从前面开始比较
NullComparatorDoes not compare against an actual value but whether a given one is null, or not  null.
BitComparatorPerforms a bitwise comparison, providing a BitwiseOp class with OR, and XOR operators.
RegexStringComparator正则表达式
SubstringComparator把数据当成字符串，用contains()来判断

  1. import java.io.IOException;

  2.  

  3. import org.apache.hadoop.conf.Configuration;

  4. import org.apache.hadoop.hbase.HBaseConfiguration;

  5. import org.apache.hadoop.hbase.HColumnDescriptor;

  6. import org.apache.hadoop.hbase.HTableDescriptor;

  7. import org.apache.hadoop.hbase.client.HBaseAdmin;

  8. import org.apache.hadoop.hbase.client.HTable;

  9. import org.apache.hadoop.hbase.client.Put;

  10. import org.apache.hadoop.hbase.client.Result;

  11. import org.apache.hadoop.hbase.client.ResultScanner;

  12. import org.apache.hadoop.hbase.client.Scan;

  13. import org.apache.hadoop.hbase.filter.BinaryComparator;

  14. import org.apache.hadoop.hbase.filter.BinaryPrefixComparator;

  15. import org.apache.hadoop.hbase.filter.CompareFilter;

  16. import org.apache.hadoop.hbase.filter.Filter;

  17. import org.apache.hadoop.hbase.filter.RegexStringComparator;

  18. import org.apache.hadoop.hbase.filter.RowFilter;

  19. import org.apache.hadoop.hbase.filter.SubstringComparator;

  20.  

  21. public class TestHbaseRowFilter {

  22.         String tableName = "test_row_filter";

  23.         Configuration config = HBaseConfiguration.create();

  24.  

  25.         /**

  26.          * 部分代码来自hbase权威指南

  27.          * @throws IOException

  28.          */

  29.         public void testRowFilter() throws IOException {

  30.  

  31.                 HTable table = new HTable(config, tableName);

  32.                 Scan scan = new Scan();

  33.  

  34.                 System.out.println("小于等于row010的行");

  35.                 Filter filter1 = new RowFilter(CompareFilter.CompareOp.LESS_OR_EQUAL,

  36.                                 new BinaryComparator("row010".getBytes()));

  37.                 scan.setFilter(filter1);

  38.                 ResultScanner scanner1 = table.getScanner(scan);

  39.                 for (Result res : scanner1) {

  40.                         System.out.println(res);

  41.                 }

  42.                 scanner1.close();

  43.  

  44.                 System.out.println("正则获取结尾为5的行");

  45.                 Filter filter2 = new RowFilter(CompareFilter.CompareOp.EQUAL,

  46.                                 new RegexStringComparator(".*5));

  47.                 scan.setFilter(filter2);

  48.                 ResultScanner scanner2 = table.getScanner(scan);

  49.                 for (Result res : scanner2) {

  50.                         System.out.println(res);

  51.                 }

  52.                 scanner2.close();

  53.  

  54.                 System.out.println("包含有5的行");

  55.                 Filter filter3 = new RowFilter(CompareFilter.CompareOp.EQUAL,

  56.                                 new SubstringComparator("5"));

  57.                 scan.setFilter(filter3);

  58.                 ResultScanner scanner3 = table.getScanner(scan);

  59.                 for (Result res : scanner3) {

  60.                         System.out.println(res);

  61.                 }

  62.                 scanner3.close();

  63.  

  64.                 System.out.println("开头是row01的");

  65.                 Filter filter4 = new RowFilter(CompareFilter.CompareOp.EQUAL,

  66.                                 new BinaryPrefixComparator("row01".getBytes()));

  67.                 scan.setFilter(filter4);

  68.                 ResultScanner scanner4 = table.getScanner(scan);

  69.                 for (Result res : scanner4) {

  70.                         System.out.println(res);

  71.                 }

  72.                 scanner3.close();

  73.         }

  74.  

  75.         /**

  76.          * 初始化数据

  77.          */

  78.         public void init() {

  79.                 // 创建表和初始化数据

  80.                 try {

  81.                         HBaseAdmin admin = new HBaseAdmin(config);

  82.                         if (!admin.tableExists(tableName)) {

  83.                                 HTableDescriptor htd = new HTableDescriptor(tableName);

  84.                                 HColumnDescriptor hcd1 = new HColumnDescriptor("data");

  85.                                 htd.addFamily(hcd1);

  86.                                 HColumnDescriptor hcd2 = new HColumnDescriptor("url");

  87.                                 htd.addFamily(hcd2);

  88.  

  89.                                 admin.createTable(htd);

  90.                         }

  91.  

  92.                         HTable table = new HTable(config, tableName);

  93.  

  94.                         table.setAutoFlush(false);

  95.                         int count = 50;

  96.                         for (int i = 1; i <= count; ++i) {

  97.                                 Put p = new Put(String.format("row%03d", i).getBytes());

  98.                                 p.add("data".getBytes(), String.format("col%01d", i % 10)

  99.                                                 .getBytes(), String.format("data%03d", i).getBytes());

  100.                                 p.add("url".getBytes(), String.format("col%01d", i % 10)

  101.                                                 .getBytes(), String.format("url%03d", i).getBytes());

  102.                                 table.put(p);

  103.                         }

  104.                         table.close();

  105.  

  106.                 } catch (IOException e) {

  107.                         e.printStackTrace();

  108.                 }

  109.         }

  110.  

  111.         /**

  112.          * @param args

  113.          * @throws IOException

  114.          */

  115.         public static void main(String[] args) throws IOException {

  116.                 TestHbaseRowFilter test = new TestHbaseRowFilter();

  117.                 test.init();

  118.                 test.testRowFilter();

  119.         }

  120.  

  121. }
复制代码

输出结果
  1. 小于等于row010的行

  2. keyvalues={row001/data:col1/1364133382268/Put/vlen=7, row001/url:col1/1364133382268/Put/vlen=6}

  3. keyvalues={row002/data:col2/1364133382268/Put/vlen=7, row002/url:col2/1364133382268/Put/vlen=6}

  4. keyvalues={row003/data:col3/1364133382268/Put/vlen=7, row003/url:col3/1364133382268/Put/vlen=6}

  5. keyvalues={row004/data:col4/1364133382268/Put/vlen=7, row004/url:col4/1364133382268/Put/vlen=6}

  6. keyvalues={row005/data:col5/1364133382268/Put/vlen=7, row005/url:col5/1364133382268/Put/vlen=6}

  7. keyvalues={row006/data:col6/1364133382268/Put/vlen=7, row006/url:col6/1364133382268/Put/vlen=6}

  8. keyvalues={row007/data:col7/1364133382268/Put/vlen=7, row007/url:col7/1364133382268/Put/vlen=6}

  9. keyvalues={row008/data:col8/1364133382268/Put/vlen=7, row008/url:col8/1364133382268/Put/vlen=6}

  10. keyvalues={row009/data:col9/1364133382268/Put/vlen=7, row009/url:col9/1364133382268/Put/vlen=6}

  11. keyvalues={row010/data:col0/1364133382268/Put/vlen=7, row010/url:col0/1364133382268/Put/vlen=6}

  12. 正则获取结尾为5的行

  13. keyvalues={row005/data:col5/1364133382268/Put/vlen=7, row005/url:col5/1364133382268/Put/vlen=6}

  14. keyvalues={row015/data:col5/1364133382268/Put/vlen=7, row015/url:col5/1364133382268/Put/vlen=6}

  15. keyvalues={row025/data:col5/1364133382268/Put/vlen=7, row025/url:col5/1364133382268/Put/vlen=6}

  16. keyvalues={row035/data:col5/1364133382268/Put/vlen=7, row035/url:col5/1364133382268/Put/vlen=6}

  17. keyvalues={row045/data:col5/1364133382268/Put/vlen=7, row045/url:col5/1364133382268/Put/vlen=6}

  18. 包行有5的行

  19. keyvalues={row005/data:col5/1364133382268/Put/vlen=7, row005/url:col5/1364133382268/Put/vlen=6}

  20. keyvalues={row015/data:col5/1364133382268/Put/vlen=7, row015/url:col5/1364133382268/Put/vlen=6}

  21. keyvalues={row025/data:col5/1364133382268/Put/vlen=7, row025/url:col5/1364133382268/Put/vlen=6}

  22. keyvalues={row035/data:col5/1364133382268/Put/vlen=7, row035/url:col5/1364133382268/Put/vlen=6}

  23. keyvalues={row045/data:col5/1364133382268/Put/vlen=7, row045/url:col5/1364133382268/Put/vlen=6}

  24. keyvalues={row050/data:col0/1364133382268/Put/vlen=7, row050/url:col0/1364133382268/Put/vlen=6}

  25. 开头是row01的

  26. keyvalues={row010/data:col0/1364133382268/Put/vlen=7, row010/url:col0/1364133382268/Put/vlen=6}

  27. keyvalues={row011/data:col1/1364133382268/Put/vlen=7, row011/url:col1/1364133382268/Put/vlen=6}

  28. keyvalues={row012/data:col2/1364133382268/Put/vlen=7, row012/url:col2/1364133382268/Put/vlen=6}

  29. keyvalues={row013/data:col3/1364133382268/Put/vlen=7, row013/url:col3/1364133382268/Put/vlen=6}

  30. keyvalues={row014/data:col4/1364133382268/Put/vlen=7, row014/url:col4/1364133382268/Put/vlen=6}

  31. keyvalues={row015/data:col5/1364133382268/Put/vlen=7, row015/url:col5/1364133382268/Put/vlen=6}

  32. keyvalues={row016/data:col6/1364133382268/Put/vlen=7, row016/url:col6/1364133382268/Put/vlen=6}

  33. keyvalues={row017/data:col7/1364133382268/Put/vlen=7, row017/url:col7/1364133382268/Put/vlen=6}

  34. keyvalues={row018/data:col8/1364133382268/Put/vlen=7, row018/url:col8/1364133382268/Put/vlen=6}

  35. keyvalues={row019/data:col9/1364133382268/Put/vlen=7, row019/url:col9/1364133382268/Put/vlen=6}

复制代码






关注公众号，获取大数据、人工智能20套、区块链资源5阶段等资源，随时更新，获取最新技术资源
回复

使用道具 举报

自定义广告语

已有(6)人评论

跳转到指定楼层
正序浏览
lyman825726 发表于 2014-8-24 12:14:59
不错，值得学习
回复

使用道具 举报

UFO 发表于 2016-4-12 15:36:59
请问版主一个问题，hbase的RowKey如果是有序的，不是会造成写热点问题吗，但如果rowkey是随机无序的，那怎么根据filter来过滤，在查的时候又是怎么查RowKey对应的region？
回复

使用道具 举报

easthome001 发表于 2017-3-3 16:57:50
UFO 发表于 2016-4-12 15:36
请问版主一个问题，hbase的RowKey如果是有序的，不是会造成写热点问题吗，但如果rowkey是随机无序的，那怎 ...

参考这个
hbase hash散列后 如何scan 查询？
http://www.aboutyun.com/forum.php?mod=viewthread&tid=21143


回复

使用道具 举报

高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

发表新帖
pig2

超级版主

关注

  • 2332

    主题

  • 3342

    帖子

  • 1972

    粉丝

欢迎大家如about云官方2群322273151，更新咨询，更新资源，随时关注
TA的主题
关闭

推荐上一条 /2 下一条

关于我们· 联系我们· 加入我们· 小黑屋· 合作伙伴   

Copyright © 2001-2024 About云-梭伦科技 Powered by Discuz! X3.4 Licensed Discuz Team.

简书 / Smrz 京ICP备2020039040号 Wxb 简书网举报电话：021-34700000