RnD_Alex 发表于 2013-10-25 10:42:06

HDFS默认存储

HDFS默认存储大小事64M，那为什么他是64M呢，而不是其他的呢吗？

oYaoXiang1 发表于 2013-10-25 10:42:06

64M是 2的倍数， 64M数据块在hadoop分布式环境下，不大也不小，数据传输高效。

oYaoXiang1 发表于 2013-10-25 10:42:06

hadoop是用来处理大数据的，理论上块越大越好。
块太小，占用NN的大量内存，肯定是不好的。
块太大，MR作业是以块为单位进行的，块太大，并行处理数据块能力就弱，而且当一个Map任务出现重新运行时，这个任务就严重拖后腿了。
当然了还有寻址时间等方面的考虑。
页: [1]
查看完整版本: HDFS默认存储