ymtocym 发表于 2013-11-23 13:13:46

hadoop集群其中一个datanode挂掉后

hadoop集群中有一个节点是我电脑上的虚拟机datanode1，由于经常需要关机，这个datanode1经常性的挂掉，起来，这个会对整个集群有什么影响呢？比如一个大文件的一个block备份到datanode1，关掉之后他会自动再备份一份吗，就是让它的备份数还是到3份，当它起来之后，它上面的block还会继续存在吗？还是把他删掉？这样的话会导致整个集群的不平衡啊

有没有大神有这方面的经验啊，分享一下，谢谢

pig2 发表于 2013-11-23 13:54:42

本帖最后由 pig2 于 2013-11-23 13:57 编辑

理论上 发现副本数超过配置 会开始删除 删除策略同样是参考 副本存放策略
集群本身不会自动平衡 所以 永远也没有存在一个所谓的平衡状态
担心平衡问题 可以运行一下 平衡程序

hyj 发表于 2013-11-23 13:59:03

平衡程序在进行平衡的时候 会参考副本存放策略。如果集群机架配置很糟糕 也不会有平衡的一天
页: [1]
查看完整版本: hadoop集群其中一个datanode挂掉后