专题 › HDFS › hdfs冗余数据问题

arsenduan 发表于 2013-10-25 10:45:31

hdfs冗余数据问题

一台namenode.3台datanode.备份数为2时候.当写入60M数据到datanode-1,datanode-2时候,datenode-3的数据也有10M的增加.
为什么datanode-3会增加数据.数据的内容是什么

einhep 发表于 2013-10-25 10:45:31

datanode-3下应该是你的备份数据。
一般来说录入的数据会按照block size来进行拆分，然后以负载均衡为目的相对均匀的存放在集群的datanode上（如果不配置机架感知，那么hadoop默认所有的机器都在一个水平位置，也就可以理解所有的机器都在一个网络环境下）。

mituan2008 发表于 2013-10-25 10:45:31

有两个数据Block A,B
node1, node2上有 A
node2, node3上有 B
这样总体上就是2个备份。
机架感知如何配置的吗？

查看完整版本: hdfs冗余数据问题