hadoop数据存储时，按照什么算法确定哪些datanode和block存储及副本block位置

跪求各位大虾，如题，谢谢！

xiaolongwu1987 · 发表于 2013-10-25 10:43:43

存储算法：
如果设置了threshold，namenode会先找没有达到threshold的节点存放，然后第一个副本存放在该节点的同一个rack的相邻datanode上，第二个副本在不同rack的datanode上。如果没有threshold，是随机存放。
副本位置：
副本的命名是一样的。namenode内存中保留了一个表，这个表里面包含了每个block在什么为止。可以看看sourcecode。

qz2003 · 发表于 2013-10-25 10:43:43

恩，好的，谢谢

shihailong123 · 发表于 2013-10-25 10:43:43

回复 2# airbots
不好意思，能给个具体的实现代码给我吗，谢谢

nettman · 发表于 2014-6-2 16:58:13

位置信息存储在BlocksMap中
详细可以查看
深度了解namenode---其内部关键数据结构原理简介

BlocksMap的作用是什么？
BlocksMap实际上就是一个Block对象对BlockInfo对象的一个Map表

图文精华

hadoop数据存储时，按照什么算法确定哪些datanode和block存储及副本block位置

已有(4)人评论

推荐 /2