分享

hdfs冗余数据问题

arsenduan 发表于 2013-10-25 10:45:31 [显示全部楼层] 回帖奖励 阅读模式 关闭右栏 2 6020
一台namenode.3台datanode.备份数为2时候.当写入60M数据到datanode-1,datanode-2时候,datenode-3的数据也有10M的增加.
为什么datanode-3会增加数据.数据的内容是什么

已有(2)人评论

跳转到指定楼层
einhep 发表于 2013-10-25 10:45:31
datanode-3下应该是你的备份数据。
一般来说录入的数据会按照block size来进行拆分,然后以负载均衡为目的相对均匀的存放在集群的datanode上(如果不配置机架感知,那么hadoop默认所有的机器都在一个水平位置,也就可以理解所有的机器都在一个网络环境下)。
回复

使用道具 举报

mituan2008 发表于 2013-10-25 10:45:31
有两个数据Block A,B
node1, node2上有 A
node2, node3上有 B
这样总体上就是2个备份。
机架感知如何配置的吗?
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

推荐上一条 /2 下一条