专题 › HDFS › HDFS Block Size是物理的还是逻辑的？

tb_dhu_hadoop 发表于 2014-5-13 14:00:46

HDFS Block Size是物理的还是逻辑的？

如果把HDFS Block Size设置为128MB，一个文件的大小为120MB，那这个文件会占用1个还是2个物理的Block呢？

pig2 发表于 2014-5-13 15:46:23

本帖最后由 pig2 于 2014-5-13 15:50 编辑

第一个问题：
是一个物理值，是hadoop存储的基本单位
第二个问题：
文件会占用1个物理的Block

可以看看下面，有助于理解：
hadoop深入研究:(六)——HDFS数据完整性

Hadoop-2.X中HDFS文件块block大小为什么增大默认为128M

同时还需要注意小文件：大量的小文件会把集群拖死，所以对于128，130之类的，这些都不适合hadoop.hadoop适合处理pb级别的数据
HDFS小文件处理及解决方案

kevinluqq 发表于 2014-5-13 14:59:10

1。。。。。。。

tb_dhu_hadoop 发表于 2014-5-13 16:35:24

pig2 发表于 2014-5-13 15:46
本帖最后由 pig2 于 2014-5-13 15:50 编辑
第一个问题：
是一个物理值，是hadoop存储的基本单位


{:soso_e181:}十分感谢您的解答！！非常好，很清楚。

查看完整版本: HDFS Block Size是物理的还是逻辑的？