分享

HDFS默认存储

RnD_Alex 发表于 2013-10-25 10:42:06 [显示全部楼层] 回帖奖励 阅读模式 关闭右栏 2 5295
HDFS默认存储大小事64M,那为什么他是64M呢,而不是其他的呢吗?

已有(2)人评论

跳转到指定楼层
oYaoXiang1 发表于 2013-10-25 10:42:06
64M  是 2的倍数, 64M数据块在hadoop分布式环境下,不大也不小,数据传输高效。
回复

使用道具 举报

oYaoXiang1 发表于 2013-10-25 10:42:06
hadoop是用来处理大数据的,理论上块越大越好。
块太小,占用NN的大量内存,肯定是不好的。
块太大,MR作业是以块为单位进行的,块太大,并行处理数据块能力就弱,而且当一个Map任务出现重新运行时,这个任务就严重拖后腿了。
当然了还有寻址时间等方面的考虑。
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

推荐上一条 /2 下一条