图文精华

About云-梭伦科技»专题 › 技术学习(版主发帖区) › 大数据学习 › Hbase › 技术应用› 淘宝hbase业务实践
分享

淘宝hbase业务实践

hyj 2014-3-1 23:56:21 发表于 技术应用 [显示全部楼层] 回帖奖励 阅读模式 关闭右栏 0 17596
About云VIP帮助找工作和提升
本帖最后由 hyj 于 2014-3-2 00:00 编辑

可以带着下面问题来阅读
1.HTablePool与传统数据块连接池那个对应？
2.通过那个函数可以释放连接池？
3.habse在什么情况下会比较慢？
4.RowKey该如何设计？


准备工作
  • HBase Toturial，需要对HBase有一定的了解
  • Mysql 基础，需要对Mysql有一定的了解
  • Java 基础，需要对Java有一点的了解

为什么需要HBase优势：
  • 再见了，分库分表。再见了，TDDL
  • 更高性能的读和写。

不足：
  • 没有SQL
  • 没有iBtatis、Hibernate这些ORM工具，HBase的ORM目前还不成熟
  • HBase的RowKey的设计要求比较高
  • 需要自己构建索引表

HBase的使用构建单例的HBaseFactory
构建单例的HBaseFactory，我们只需要关心三个事情
  • hbase.zookeeper.quorum
  • zookeeper.znode.parent
  • HTablePool的maxSize
我们使用的是HTablePool构建一个HBaseFactory对象

*为什么使用HTablePool
HTablePool您可以看成JDBC的连接池，适合多线程使用环境，如果需要把连接“还”给连接池的话，只需要调用HTableInterface.close() 就可以了
HBaseFactory的Interface 
  1. public interface HBaseFactory {

  2.     /**

  3.      * 通过 tableName 来获取这个 Table

  4.      */

  5.     HTableInterface getHTable(String tableName);

  6. 

  7.     /**

  8.      * 关闭某个table

  9.      */

  10.     void closeHTable(HTableInterface hTableInterface);

  11. 

  12.     /** only for unit test*/

  13.     boolean deleteTable(String tableName);

  14.     /** only for unit test*/

  15.     HTableDescriptor createTable(String tableName, int maxVersion);

  16. }
复制代码
HBaseFactory的Implemention
  1. public class HBaseFactoryImpl implements HBaseFactory {

  2. 

  3.     static Logger logger = LoggerFactory.getLogger(HBaseFactoryImpl.class);

  4. 

  5.     private HTablePool hTablePool = null;

  6. 

  7.     private HBaseAdmin hBaseAdmin = null;

  8. 

  9.     @Inject

  10.     public HBaseFactoryImpl(String quorum, String parent, int maxSize) {

  11.         checkArgument(isNotBlank(quorum));

  12.         checkArgument(isNotBlank(parent));

  13.         Configuration conf = HBaseConfiguration.create();

  14.         conf.set("hbase.zookeeper.quorum", quorum);

  15.         conf.set("zookeeper.znode.parent", parent);

  16. 

  17.         conf.set("hbase.client.retries.number", "5");

  18.         conf.set("hbase.client.pause", "200");

  19.         conf.set("ipc.ping.interval", "3000");

  20.         conf.setBoolean("hbase.ipc.client.tcpnodelay", true);

  21. 

  22.         hTablePool = new HTablePool(conf, maxSize);

  23.         try {

  24.             hBaseAdmin = new HBaseAdmin(conf);

  25.         } catch (Exception e) {

  26.             logger.error(e.getMessage(), e);

  27.             throw new IllegalStateException(e);

  28.         }

  29.     }

  30. 

  31.     @Override

  32.     public HBaseAdmin getHBaseAdmin() {

  33.         return checkNotNull(hBaseAdmin);

  34.     }

  35. 

  36.     @Override

  37.     public HTableInterface getHTable(String tableName) {

  38.         checkArgument(isNotBlank(tableName));

  39.         return checkNotNull(hTablePool.getTable(tableName));

  40.     }

  41. 

  42.     @Override

  43.     public void closeHTable(HTableInterface hTableInterface) {

  44.         Closeables.closeQuietly(hTableInterface);

  45.     }

  46. 

  47.     @Override

  48.     public boolean deleteTable(String tableName) {

  49.         checkArgument(isNotBlank(tableName));

  50.         try {

  51.             hBaseAdmin.disableTable(tableName);

  52.             hBaseAdmin.deleteTable(tableName);

  53.         } catch (IOException e) {

  54.             logger.error(e.getMessage(), e);

  55.             return false;

  56.         }

  57.         return true;

  58.     }

  59. 

  60.     @Override

  61.     public HTableDescriptor createTable(String tableName, int maxVersion) {

  62.         return createTable(tableName, "cf", 0, maxVersion, null, null,

  63.                 null, 0);

  64.     }

  65. 

  66.     protected HTableDescriptor createTable(

  67.             String tableName, String columnFamily, int lifetime,

  68.             int maxVersion, StoreFile.BloomType bloomType, String startKey,

  69.             String endKey, int numRegions) {

  70. 

  71.         try {

  72.             checkArgument(!checkNotNull(hBaseAdmin).tableExists(tableName),

  73.                     "the table [%s] should not exist.", tableName);

  74.         } catch (IOException e) {

  75.             logger.error(e.getMessage(), e);

  76.             throw new IllegalStateException(e);

  77.         }

  78. 

  79.         HColumnDescriptor cf = getCF(columnFamily, lifetime, maxVersion,

  80.                 bloomType);

  81.         HTableDescriptor table = new HTableDescriptor(tableName);

  82.         table.addFamily(cf);

  83.         try {

  84.             if (StringUtils.isNotBlank(startKey)

  85.                     && StringUtils.isNotBlank(endKey) && numRegions > 0)

  86.                 hBaseAdmin.createTable(table, Bytes.toBytes(startKey),

  87.                         Bytes.toBytes(endKey), numRegions);

  88.             else

  89.                 hBaseAdmin.createTable(table);

  90.         } catch (IOException e) {

  91.             logger.error(e.getMessage(), e);

  92.             throw new IllegalStateException(e);

  93.         }

  94.         return describeTable(tableName);

  95.     }

  96. 

  97.     private HColumnDescriptor getCF(String columnFamily, int lifetime,

  98.                                     int maxVersion, StoreFile.BloomType bloomType) {

  99.         HColumnDescriptor cf = new HColumnDescriptor(columnFamily);

  100.         cf.setCompactionCompressionType(Compression.Algorithm.LZO);

  101.         cf.setCompressionType(Compression.Algorithm.LZO);

  102.         if (maxVersion > 0)

  103.             cf.setMaxVersions(maxVersion > 1000000 ? 1000000 : maxVersion);

  104.         if (lifetime > 0)

  105.             cf.setTimeToLive(lifetime);

  106.         if (null != bloomType)

  107.             cf.setBloomFilterType(bloomType);

  108.         else

  109.             cf.setBloomFilterType(StoreFile.BloomType.ROW);

  110.         return cf;

  111.     }

  112. 

  113.     public HTableDescriptor describeTable(String tableName) {

  114.         try {

  115.             return checkNotNull(hBaseAdmin).getTableDescriptor(Bytes.toBytes(tableName));

  116.         } catch (Exception e) {

  117.             logger.error(e.getMessage(), e);

  118.             throw new IllegalStateException(e);

  119.         }

  120.     }

  121. 

  122.     @PreDestroy

  123.     public void destroy() throws Exception {

  124.         Closeables.closeQuietly(hTablePool);

  125.         Closeables.closeQuietly(hBaseAdmin);

  126.     }

  127. }
复制代码
Usage
  1. HTableInterface hTableInterface = null;

  2. try {

  3.     hTableInterface = hBaseFactory.getHTable("YOUR_TABLE_NAME");

  4.     // code here …

  5. } finally {

  6.     hBaseFactory.closeHTable(hTableInterface);

  7. }
复制代码

Scan
  • StartRow&Cache如果不设置StartRow，那就会从头开始搜索，这样做的话速度就会很慢
    Cache能够保证一次搜索拿到内存的数据，否则您iterator一次就得走一次网络
  • 关于FilterPrefixFilter是最常用的filter，有个非常需要注意的点
    如果Rowkey是”123_1_00000“这样的，如果prefix是123_1，切记切记要记得写成123_1_
    其次要注意filter不要太多，最好不要超过2个
  • 关于分页在Mysql里面，常常需要用到分页，那么在HBase里面你该如何实现，使用PageFilter配合startRow，但是在Mysql里面常常会有一个总数的概念，切记切记HBase里面不要做类似Count的操作
  • 关于分布式流式处理比方说，现在有10台机器，需要同时处理1000万的数据，那么这个时候，我们就可以用到checkAndPut。就像Mysql里面的一个乐观锁一样。

具体的做法是：

  • 我们通过PageFilter，SingleColumnValueFilter配合startRow获取一部分数据
  • 然后用checkAndPut标记该数据正在处理
  • 最后再用put标记该数据已经处理

HBase实战经验向下兼容

开发过程中，难免需要加字段的，那这个时候，就需要代码、数据能够向下兼容。
比方说我们现在需要新增一个column，因为是新加的一列，原来的数据这列就是null，那么这时候从HBase里面读到的值就是null，所以写HBase代码一定要注意：

  • 从HBase里面的数据一定要check null，如果是null，我就用一个默认值
  • 代表元数据的DO类的默认值，最好不要是null，null永远不要存在在代码中
  • 再一次强调，非常建议数据用String的方式存储，因为可视化的数据能够帮您解决很多问题
  1. // firstNonNull 是 google guava Objects#firstNonNull 的方法，如果方法第一个参数是null，就返回第二个参数

  2. Integer.parseInt(new String(firstNonNull(result.getValue(DEFAULT_COLUMN_FAMILIES, COLUMN), new byte[]{'0'})));
复制代码
RowKey的设计

1.建议使用String如果不是特殊要求，RowKey最好都是String。
  • 方便线上使用Shell查数据、排查错误
  • 更容易让数据均匀分布
  • 不必考虑存储成本

2.RowKey的长度尽量短如果RowKey太长话，第一是，存储开销会增加，影响存储效率；第二是，内存中Rowkey字段过长，内存的利用率会降低，这会降低索引命中率。
一般的做法是：
  • 时间使用Long来表示
  • 尽量使用编码压缩
3.RowKey尽量散列RowKey的设计，最重要的是要保证散列，这样就会保证所有的数据都不都是在一个region上，避免做读写的时候负载将会集中在个别region上面。

假设我们需要存储一个用户的所有微博（暂时不需要考虑时间倒排），这时候的RowKey的设计是UserId_WeiboId ，但是这样设计的话，UserId 的分布就很可能不均匀，因为RowKey是字符串排序的。

有两种办法来解决这个问题

Reverses
UserId

Hash或者Mod
UserId

MD5 后作取前6位为前缀加入到 UserId 前面


4.RowKey排序假设我们有个很多微博用户发微博，但是这个时候，我们要开辟一个“广场”，所有的微博都是按照时间倒排序展示在这个“广场”里。这个时候我们就得为原来的

UserId_WeiboId

建立一张索引表，并且这个表的Rowkey要和时间相关

  • Rowkey的设计可以使用

当前时间 - 微博发表时间

的 long 值作为 RowKey 的前缀

  • RowKey散列


  • 如果数据可以定期清理如果数据不是需要一直保存的话，就算所有数据落在一个region，因为按时间搜索会指定startRow，存储时候Rowkey也是连续的，所以速度也非常块，当然数据容量最好和DBA商量一下


  • 如果数据都需要保存把DayOfMonth作为前缀那么RowKey会是
    DayOfMonth_(当前时间 - 微博发表时间)

    不过这样在代码实现上面的时候会有一些麻烦。

5.关于事务目前HBase的Put，Delete操作都是事务的，但是如果您希望能够对好几个Table发起一连串操作并且希望是事务的话，目前还没有好的办法。所以HBase使用的时候，要有解决数据出错的觉悟。




回复

使用道具 举报

自定义广告语

没找到任何评论，期待你打破沉寂

高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

发表新帖
hyj

超级版主

关注

  • 1689

    主题

  • 2216

    帖子

  • 469

    粉丝

TA的主题
关闭

推荐上一条 /2 下一条

关于我们· 联系我们· 加入我们· 小黑屋· 合作伙伴   

Copyright © 2001-2024 About云-梭伦科技 Powered by Discuz! X3.4 Licensed Discuz Team.

简书 / Smrz 京ICP备2020039040号 Wxb 简书网举报电话：021-34700000