cryst2l 发表于 2013-10-25 10:45:36

【问】hdfs中block大小设置多少才合适？

Blocks
HDFS中Block的大小默认是64M，小于块大小的的文件并不占据整个块的全部空间（一个块可能存有多个文件）。
使用Blocks的好处：
1） 可以存储大文件，一个文件的大小可以大于任何一个单块硬盘的容量
2） 把存储单元抽象成块而不是文件，简化了存储子系统：简化了数据管理、取消元数据关注
3） 能很好适应数据复制，数据复制保证系统的容错和可用性。
：
1:如果文件不足块的大小，会占据整个块空间吗吗？例如 64M的块中只有一个 30K的数据
2：block默认为64M，在什么情况下设置的小一些好，什么情况下要设置的大一些才合适吗？

a2325145 发表于 2013-10-25 10:45:36

There isn's a way to change the block size of an existing file. The
block size of a file can be specified only at the time of file
creation and cannot be changed later.
There isn't any wasted space in your system. If the block size is
128MB but you create a HDFS file of say size 10MB, then that file will
contain one block and that block will occupy only 10MB on HDFS
storage. No space gets wasted.

leo_1989 发表于 2013-10-25 10:45:36

每一个块都是以独立文件存储在本地，文件大小为块的实际大小，不会补齐。

llike90 发表于 2013-10-25 10:45:36

There isn's a way to change the block size of an existing file. The
block size of a file can be sp ...
摩西莫西 发表于 2010-2-25 16:53

http://www.hadoopor.com/images/common/back.gif

为啥用英文啊吗？
页: [1]
查看完整版本: 【问】hdfs中block大小设置多少才合适？