hbase 计算1天的存储数据的大小

需求：希望存储1个月的数据，先判断需要多大的存储空间，好分配存储。

这样统计一天数据的存储大小？？

大体意思明白了。具体想干什么，就只能猜了。是不是想统计一天存储多少。
可以通过shell或则程序实现。
首先在插入的时候，执行一条hadoop命令
命令[mw_shl_code=bash,true] hdfs dfs -du -h   /data/[/mw_shl_code]

命令解释：
结果 102.3 M  307.0 M  /data/

第一列标示该目录下总文件大小

第二列标示该目录下所有文件在集群上的总存储大小和你的副本数相关，我的副本数是3 ，所以

第二列的是第一列的三倍 （第二列内容=文件大小*副本数）

第三列标示你查询的目录

执行完毕之后，一直插入，无论是一天的还是一个月的，执行完毕后，在统计一遍。这样，两个结果想减，就得到了存储的大小

解释不错

感谢版主的细心回答！

我是这样计算一个表的大小的：
hadoop fs -du -s -h /apps/hbase/data/data/default/T_JTCL_KKTX_XX
第二天同一时间再统计一下：
两天的表大小相减得到一天的大致存储大小。

一楼真强悍！！这都能回答出来。。。

tanxl 发表于 2017-2-15 10:20
感谢版主的细心回答！

我是这样计算一个表的大小的：

可以通过shell自动完成，手工太麻烦了