Spring hadoop 访问hbase 入门教程

本帖最后由 pig2 于 2014-10-12 23:48 编辑
问题导读：
1.你认为该如何访问hbase?
2.Hadoop hbase需要做哪些配置？
3.pom文件需要哪些修改？

环境准备：
Maven
Eclipse
Java
Spring 版本 3..2.9
Maven pom.xml配置

<!-- Spring hadoop  -->
                                   <dependency>
                <groupId>org.apache.hbase</groupId>
                <artifactId>hbase-client</artifactId>
                <version>0.96.1.1-hadoop2</version>
                    </dependency>
                <dependency>
                        <groupId>org.springframework.data</groupId>
                        <artifactId>spring-data-jpa</artifactId>
                        <version>1.6.0.RELEASE</version>
                </dependency>
                 <dependency>
                <groupId>org.springframework.data</groupId>
                <artifactId>spring-data-hadoop</artifactId>
                <version>2.0.2.RELEASE</version>
                    </dependency>
                    <!-- Spring hadoop  -->
复制代码

Spring和hadoop、hbase相关配置文件

  <?xml version="1.0" encoding="UTF-8"?>
<beans xmlns="http://www.springframework.org/schema/beans"
        xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xmlns:jdbc="http://www.springframework.org/schema/jdbc"
        xmlns:tx="http://www.springframework.org/schema/tx" xmlns:util="http://www.springframework.org/schema/util"
        xmlns:aop="http://www.springframework.org/schema/aop" xmlns:context="http://www.springframework.org/schema/context"
        xmlns:mongo="http://www.springframework.org/schema/data/mongo"
        xmlns:hdp="http://www.springframework.org/schema/hadoop"
        xmlns:cache="http://www.springframework.org/schema/cache" xmlns:c="http://www.springframework.org/schema/c"
        xmlns:p="http://www.springframework.org/schema/p"
        xsi:schemaLocation="  
        http://www.springframework.org/schema/jdbc http://www.springframework.org/schema/jdbc/spring-jdbc.xsd  
        http://www.springframework.org/schema/beans http://www.springframework.org/schema/beans/spring-beans.xsd  
        http://www.springframework.org/schema/util http://www.springframework.org/schema/util/spring-util.xsd  
        http://www.springframework.org/schema/tx http://www.springframework.org/schema/tx/spring-tx.xsd  
        http://www.springframework.org/schema/aop http://www.springframework.org/schema/aop/spring-aop.xsd  
        http://www.springframework.org/schema/data/mongo http://www.springframework.org/schema/data/mongo/spring-mongo.xsd
        http://www.springframework.org/schema/hadoop http://www.springframework.org/schema/hadoop/spring-hadoop.xsd  
        http://www.springframework.org/schema/cache http://www.springframework.org/schema/cache/spring-cache.xsd   
        http://www.springframework.org/schema/context http://www.springframework.org/schema/context/spring-context.xsd">
复制代码

其中
xmlns:hdp="http://www.springframework.org/schema/hadoop"

http://www.springframework.org/schema/hadoop http://www.springframework.org/schema/hadoop/spring-hadoop.xsd

是spring hadoop配置

Hadoop hbase相关配置文件如下：

   <!--  默认properties-->
        <hdp:configuration>fs.default.name=hdfs://192.98.8.224:8010</hdp:configuration>

        <hdp:hbase-configuration delete-connection="${delete-connection}" zk-quorum="${hbase.zookeeper.quorum}" zk-port="${hbase.zookeeper.property.clientPort}"/>
复制代码

对应的properties如下：
hbase.zookeeper.property.clientPort=2181
hbase.zookeeper.quorum=192.98.8.224
hbase.master=192.98.8.224:600000
fs.default.name=hdfs://192.98.8.224:8010
delete-connection=true

#hive jdbc url
hive.url=jdbc:hive://192.98.8.224:10000/default

spring hbasetemplate配置如下：

        <bean id="hbaseTemplate" class="org.springframework.data.hadoop.hbase.HbaseTemplate">
       <property name="configuration" ref="hbaseConfiguration" />
</bean>
复制代码

Hbasetemplate使用代码示例：

Tile t = hbaseTemplate.get("GW_TILES", "0_1_1", new RowMapper<Tile>() {

                        @Override
                        public Tile mapRow(Result result, int rowNum) throws Exception {
                                // TODO Auto-generated method stub
                                
                                Tile t = new Tile();
                                t.setData(result.getValue("T".getBytes(), "key".getBytes()));
                                return t;
                        }
                });
复制代码

Hbasetemplate 常用方法简介：

hbaseTemplate.get("GW_TILES", "0_1_1", new RowMapper  常用于查询，使用示例如下所示：
Tile t = hbaseTemplate.get("GW_TILES", "0_1_1", new RowMapper<Tile>() {

                        @Override
                        public Tile mapRow(Result result, int rowNum) throws Exception {
                                // TODO Auto-generated method stub
                                
                                Tile t = new Tile();
                                t.setData(result.getValue("T".getBytes(), "key".getBytes()));
                                return t;
                        }
                });
复制代码

hbaseTemplate.execute(dataIdentifier, new TableCallback 常用于更新操作，使用示例如下所示：

return hbaseTemplate.execute(dataIdentifier, new TableCallback<Boolean>() {

                        @Override
                        public Boolean doInTable(HTableInterface table) throws Throwable {
                                // TODO Auto-generated method stub
                                boolean flag = false;
                                try{
                                Delete delete = new Delete(key.getBytes());
                                table.delete(delete);
                                flag = true;
                                }catch(Exception e){
                                        e.printStackTrace();
                                }
                                return flag;
                        }
                });
复制代码

备注：spring hbasetemplate针对hbase接口做了强大的封装，普通功能可以使用它强大的接口，同时复杂的功能，还可以使用hbase原生的接口，如：HTableInterface、Result等。其类方法如下图：

同时hbasetemplate封装了hbase连接池等，它的创建和释放通过配置来自动管理。

来源李克华：

howtodown · 发表于 2014-11-15 12:57:49

补充一些内容：
spring+hbase集成

1. 引入maven依赖
<dependency>
      <groupId>org.springframework.data</groupId>
      <artifactId>spring-data-hadoop</artifactId>
      <version>1.0.1.RELEASE</version>
</dependency>
<dependency>
      <groupId>org.apache.hbase</groupId>
      <artifactId>hbase</artifactId>
      <version>0.94.12</version>
</dependency>

2. Spring-data头部命名空间和标签
<beans
xmlns="http://www.springframework.org/schema/beans"
xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
xmlns:hdp="http://www.springframework.org/schema/hadoop"
xsi:schemaLocation="
http://www.springframework.org/schema/beans http://www.springframework.org/schema/beans/spring-beans-3.0.xsd
http://www.springframework.org/schema/hadoop http://www.springframework.org/schema/hadoop/spring-hadoop.xsd">

3. 配置hbase基础信息
//配置hadoop的基本信息
<hdp:configuration>
fs.default.name=hdfs://172.20.59.47:9000 </hdp:configuration>
//配置zookeeper的信息，远程连接hbase时使用
<hdp:hbase-configuration  zk-quorum="xxx.xxx.xxx.xxx"zk-port="2181"/>
<beanid="htemplate"class="org.springframework.data.hadoop.hbase.HbaseTemplate" >
   <property name="configuration"ref="hbaseConfiguration">
</property>
</bean>
hbaseConfiguration其实就是指的<hdp:hbase-configuration/>配置的信息

4.    实例演示
public static void main(String[] args) {
   ApplicationContext context = new ClassPathXmlApplicationContext(newString[] { "spring-beans-hbase.xml" });
   BeanFactory factory = (BeanFactory) context;
   HbaseTemplate htemplate = (HbaseTemplate) factory.getBean("htemplate");
   String custom = "custom";
   htemplate.get("wcm", "10461", newRowMapper<String>(){
         @Override
         public String mapRow(Result result, int rowNum) throws Exception {
            // TODO Auto-generated methodstub
            for(KeyValue kv :result.raw()){
                  String key = newString(kv.getQualifier());
                  String value = newString(kv.getValue());
                  System.out.println(key +"= "+Bytes.toString(value.getBytes()));
            }
            return null;
         }
   });
}
查看数据 get “wcm“, ”rowkey“ 得到一条数据

5. 基本命令
查看有哪些表list
查看所有数据 scan “表名”
查看数据 get “wcm“，”lrowkey“ 得到一条数据
删除一条数据delete “表名”,”主键”,”列族”,”列”
删除整条数据deleteAll “表名”,”主键”
Hbase的特点：
>>在命令窗口只能一次更新一个单元格；
>>在程序中通过调用HTable.setAutoFlush(false)方法可以将HTable写客户端的自动flush关闭，这样可以批量写入数据到 HBase，而不是有一条put就执行一次更新，只有当put填满客户端写缓存时，才实际向HBase服务端发起写请求。默认情况下auto flush是开启的。

mingge12321 · 发表于 2014-11-16 16:16:20

不错不错。

EASONLIU · 发表于 2014-12-17 10:49:47

学习学习~~~~~~~~

xuezhiji · 发表于 2016-5-4 16:58:33

不错，学习了

wangjie142 · 发表于 2016-5-5 17:42:37

正在学习中，想做一个网盘

wangjie142 · 发表于 2016-5-5 17:43:13

对了，你们都是看的官方的 api还是书籍啊

图文精华

Spring hadoop 访问hbase 入门教程

已有(6)人评论

活跃会员

热心会员

优秀版主

论坛元老

推广达人

宣传达人

突出贡献

推荐 /2