分享

hbase 数据存储的位置

Wyy_Ck 发表于 2016-12-20 17:01:56 [显示全部楼层] 回帖奖励 阅读模式 关闭右栏 9 24582
请问我创建好表之后, 数据真实的是存储在hadoop哪里的呢  或者在哪里配置的

[mw_shl_code=shell,true][hadoop@master conf]$ hadoop fs -ls /hbase
Found 7 items
drwxr-xr-x   - hadoop supergroup          0 2016-12-20 16:18 /hbase/.tmp
drwxr-xr-x   - hadoop supergroup          0 2016-12-20 16:43 /hbase/MasterProcWALs
drwxr-xr-x   - hadoop supergroup          0 2016-12-20 16:18 /hbase/WALs
drwxr-xr-x   - hadoop supergroup          0 2016-12-20 16:18 /hbase/data
-rw-r--r--   2 hadoop supergroup         42 2016-12-20 16:15 /hbase/hbase.id
-rw-r--r--   2 hadoop supergroup          7 2016-12-20 16:15 /hbase/hbase.version
drwxr-xr-x   - hadoop supergroup          0 2016-12-20 16:25 /hbase/oldWALs
[hadoop@master conf]$ hadoop fs -ls /hbase/data
Found 2 items
drwxr-xr-x   - hadoop supergroup          0 2016-12-20 16:38 /hbase/data/default
drwxr-xr-x   - hadoop supergroup          0 2016-12-20 16:18 /hbase/data/hbase
[hadoop@master conf]$ hadoop fs -ls /hbase/data/hbase
Found 2 items
drwxr-xr-x   - hadoop supergroup          0 2016-12-20 16:15 /hbase/data/hbase/meta
drwxr-xr-x   - hadoop supergroup          0 2016-12-20 16:18 /hbase/data/hbase/namespace
[hadoop@master conf]$ hadoop fs -ls /hbase/data/hbase/namespace
Found 3 items
drwxr-xr-x   - hadoop supergroup          0 2016-12-20 16:18 /hbase/data/hbase/namespace/.tabledesc
drwxr-xr-x   - hadoop supergroup          0 2016-12-20 16:18 /hbase/data/hbase/namespace/.tmp
drwxr-xr-x   - hadoop supergroup          0 2016-12-20 16:28 /hbase/data/hbase/namespace/168cdeec2c9b852981e23a0f8f70ddcb
[hadoop@master conf]$ hadoop fs -ls /hbase/data/hbase/namespace/168cdeec2c9b852981e23a0f8f70ddcb
Found 4 items
-rw-r--r--   2 hadoop supergroup         42 2016-12-20 16:18 /hbase/data/hbase/namespace/168cdeec2c9b852981e23a0f8f70ddcb/.regioninfo
drwxr-xr-x   - hadoop supergroup          0 2016-12-20 16:28 /hbase/data/hbase/namespace/168cdeec2c9b852981e23a0f8f70ddcb/.tmp
drwxr-xr-x   - hadoop supergroup          0 2016-12-20 16:28 /hbase/data/hbase/namespace/168cdeec2c9b852981e23a0f8f70ddcb/info
drwxr-xr-x   - hadoop supergroup          0 2016-12-20 16:18 /hbase/data/hbase/namespace/168cdeec2c9b852981e23a0f8f70ddcb/recovered.edits[/mw_shl_code]

已有(9)人评论

跳转到指定楼层
Wyy_Ck 发表于 2016-12-20 17:24:46
我添加的数据在table1- tab_info 为什么看不到数据呢
[mw_shl_code=shell,true][hadoop@master conf]$ hadoop fs -ls /hbase/data/degfault
^[[Als: `/hbase/data/degfault': No such file or directory
[hadoop@master conf]$ hadoop fs -ls /hbase/data/default
Found 1 items
drwxr-xr-x   - hadoop supergroup          0 2016-12-20 16:38 /hbase/data/default/table1
[hadoop@master conf]$ hadoop fs -ls /hbase/data/default/table1
Found 3 items
drwxr-xr-x   - hadoop supergroup          0 2016-12-20 16:38 /hbase/data/default/table1/.tabledesc
drwxr-xr-x   - hadoop supergroup          0 2016-12-20 16:38 /hbase/data/default/table1/.tmp
drwxr-xr-x   - hadoop supergroup          0 2016-12-20 16:38 /hbase/data/default/table1/6d3a2de12a4e132ad3bab30c6098c8d9
[hadoop@master conf]$ hadoop fs -ls /hbase/data/default/table1/6d3a2de12a4e132ad3bab30c6098c8d9
Found 5 items
-rw-r--r--   2 hadoop supergroup         41 2016-12-20 16:38 /hbase/data/default/table1/6d3a2de12a4e132ad3bab30c6098c8d9/.regioninfo
drwxr-xr-x   - hadoop supergroup          0 2016-12-20 16:38 /hbase/data/default/table1/6d3a2de12a4e132ad3bab30c6098c8d9/recovered.edits
drwxr-xr-x   - hadoop supergroup          0 2016-12-20 16:38 /hbase/data/default/table1/6d3a2de12a4e132ad3bab30c6098c8d9/tab1_add
drwxr-xr-x   - hadoop supergroup          0 2016-12-20 16:38 /hbase/data/default/table1/6d3a2de12a4e132ad3bab30c6098c8d9/tab1_id
drwxr-xr-x   - hadoop supergroup          0 2016-12-20 16:38 /hbase/data/default/table1/6d3a2de12a4e132ad3bab30c6098c8d9/tab1_info[/mw_shl_code]

[hadoop@master conf]$ hadoop fs -ls /hbase/data/default/table1/6d3a2de12a4e132ad3bab30c6098c8d9/tab1_info   是空的。


建表:
[mw_shl_code=shell,true]hbase(main):006:0> create 'table1', 'tab1_id', 'tab1_add', 'tab1_info'
0 row(s) in 1.3100 seconds

=> Hbase::Table - table1
hbase(main):007:0> list
TABLE                                                                                                                                                                                          
table1                                                                                                                                                                                         
1 row(s) in 0.0080 seconds

=> ["table1"]
hbase(main):008:0> describe 'table1'
Table table1 is ENABLED                                                                                                                                                                        
table1                                                                                                                                                                                         
COLUMN FAMILIES DESCRIPTION                                                                                                                                                                    
{NAME => 'tab1_add', BLOOMFILTER => 'ROW', VERSIONS => '1', IN_MEMORY => 'false', KEEP_DELETED_CELLS => 'FALSE', DATA_BLOCK_ENCODING => 'NONE', TTL => 'FOREVER', COMPRESSION => 'NONE', MIN_VE
RSIONS => '0', BLOCKCACHE => 'true', BLOCKSIZE => '65536', REPLICATION_SCOPE => '0'}                                                                                                           
{NAME => 'tab1_id', BLOOMFILTER => 'ROW', VERSIONS => '1', IN_MEMORY => 'false', KEEP_DELETED_CELLS => 'FALSE', DATA_BLOCK_ENCODING => 'NONE', TTL => 'FOREVER', COMPRESSION => 'NONE', MIN_VER
SIONS => '0', BLOCKCACHE => 'true', BLOCKSIZE => '65536', REPLICATION_SCOPE => '0'}                                                                                                            
{NAME => 'tab1_info', BLOOMFILTER => 'ROW', VERSIONS => '1', IN_MEMORY => 'false', KEEP_DELETED_CELLS => 'FALSE', DATA_BLOCK_ENCODING => 'NONE', TTL => 'FOREVER', COMPRESSION => 'NONE', MIN_V
ERSIONS => '0', BLOCKCACHE => 'true', BLOCKSIZE => '65536', REPLICATION_SCOPE => '0'}                                                                                                         
3 row(s) in 0.1040 seconds

hbase(main):009:0> put 'table1', 'key0ne', 'tab1_info:age', '24'
0 row(s) in 0.1290 seconds

hbase(main):010:0> list
TABLE                                                                                                                                                                                          
table1                                                                                                                                                                                         
1 row(s) in 0.0090 seconds

=> ["table1"]
hbase(main):011:0> scan 'table1'
ROW                                              COLUMN+CELL                                                                                                                                   
key0ne                                          column=tab1_info:age, timestamp=1482223307185, value=24                                                                                       
1 row(s) in 0.0540 seconds

hbase(main):012:0> put 'table1', 'key0ne', 'tab1_info:birthday', '1987-06-17'
0 row(s) in 0.0130 seconds

hbase(main):013:0> scan 'table1'
ROW                                              COLUMN+CELL                                                                                                                                   
key0ne                                          column=tab1_info:age, timestamp=1482223307185, value=24                                                                                       
key0ne                                          column=tab1_info:birthday, timestamp=1482223364986, value=1987-06-17                                                                          
1 row(s) in 0.0100 seconds
[/mw_shl_code]
回复

使用道具 举报

tntzbzc 发表于 2016-12-20 18:06:18
Wyy_Ck 发表于 2016-12-20 17:24
我添加的数据在table1- tab_info 为什么看不到数据呢
[mw_shl_code=shell,true][hadoop@master conf]$ ha ...

<property>
     <name>hbase.rootdir</name>
     <value>hdfs://mycluster/hbase</value>
</property>

应该是在这个hbase.rootdir属性里,配置了hbase的目录

回复

使用道具 举报

tntzbzc 发表于 2016-12-20 18:10:37
Wyy_Ck 发表于 2016-12-20 17:24
我添加的数据在table1- tab_info 为什么看不到数据呢
[mw_shl_code=shell,true][hadoop@master conf]$ ha ...

-rw-r--r--   2 hadoop supergroup         41 2016-12-20 16:38 /hbase/data/default/table1/6d3a2de12a4e132ad3bab30c6098c8d9/.regioninfo
drwxr-xr-x   - hadoop supergroup          0 2016-12-20 16:38 /hbase/data/default/table1/6d3a2de12a4e132ad3bab30c6098c8d9/recovered.edits
drwxr-xr-x   - hadoop supergroup          0 2016-12-20 16:38 /hbase/data/default/table1/6d3a2de12a4e132ad3bab30c6098c8d9/tab1_add
drwxr-xr-x   - hadoop supergroup          0 2016-12-20 16:38 /hbase/data/default/table1/6d3a2de12a4e132ad3bab30c6098c8d9/tab1_id
drwxr-xr-x   - hadoop supergroup          0 2016-12-20 16:38 /hbase/data/default/table1/6d3a2de12a4e132ad3bab30c6098c8d9/tab1_info

数据存在region中。


回复

使用道具 举报

Wyy_Ck 发表于 2016-12-20 22:04:12
请问 您知道如何查看这里面或者导出数据吗
[hadoop@master conf]$ hadoop fs -cat /hbase/data/default/table1/6d3a2de12a4e132ad3bab30c6098c8d9/.regioninfo
PBUF...
defaulttable1"(08[hadoop@master conf]$

回复

使用道具 举报

Wyy_Ck 发表于 2016-12-20 22:15:09
执行命令: ./hbase org.apache.hadoop.hbase.mapreduce.Driver export 表名    数据文件位置  是进行mapreduce操作吗?  主要是做了什么呢?




我能不能把hbaase数据导出来
回复

使用道具 举报

Wyy_Ck 发表于 2016-12-21 09:25:01
hbase org.apache.hadoop.hbase.mapreduce.Driver export 表名    DataNode文件位置的
回复

使用道具 举报

Wyy_Ck 发表于 2016-12-21 09:37:24
使用上面方法 会生成一个part-m-00000的文件  谁知道如何导出 或者查看 现在看来是乱码的
回复

使用道具 举报

Wyy_Ck 发表于 2016-12-21 09:54:06
Hbase表的数据是存储在 /hbase/data/default/table1/6d3a2de12a4e132ad3bab30c6098c8d9/.regioninfo

Hbase表数据导出到hdfs中,是会生成一个part-m-00000的文件。  不知道理解的对不对,  还有这个查看时一直是乱码?
回复

使用道具 举报

fylanyu 发表于 2016-12-21 10:23:57
Wyy_Ck 发表于 2016-12-21 09:54
Hbase表的数据是存储在 /hbase/data/default/table1/6d3a2de12a4e132ad3bab30c6098c8d9/.regioninfo

Hba ...

hbase本质还是hadoop文件。需要在hadoop上查看文件的内容。

感觉对hdfs理解的还不够。
hdfs是分布式文件系统。
如同我们的
磁盘,对应hdfs
磁盘文件对应hdfs文件
磁盘存储的本质二进制文件,如果让楼主看更看不懂。
同理个part-m-00000也是一个hdfs的底层文件,因此需要通过hdfs命令来查看
hdfs -cat /文件名
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

推荐上一条 /2 下一条