分享

hadoop集群其中一个datanode挂掉后

ymtocym 发表于 2013-11-23 13:13:46 [显示全部楼层] 回帖奖励 阅读模式 关闭右栏 2 18497
hadoop集群中有一个节点是我电脑上的虚拟机datanode1,由于经常需要关机,这个datanode1经常性的挂掉,起来,这个会对整个集群有什么影响呢?比如一个大文件的一个block备份到datanode1,关掉之后他会自动再备份一份吗,就是让它的备份数还是到3份,当它起来之后,它上面的block还会继续存在吗?还是把他删掉?  这样的话会导致整个集群的不平衡啊

有没有大神有这方面的经验啊,分享一下,谢谢

已有(2)人评论

跳转到指定楼层
pig2 发表于 2013-11-23 13:54:42
本帖最后由 pig2 于 2013-11-23 13:57 编辑

理论上 发现副本数超过配置 会开始删除 删除策略同样是参考 副本存放策略
集群本身不会自动平衡 所以 永远也没有存在一个所谓的平衡状态
担心平衡问题 可以运行一下 平衡程序
回复

使用道具 举报

hyj 发表于 2013-11-23 13:59:03
平衡程序在进行平衡的时候 会参考副本存放策略。如果集群机架配置很糟糕 也不会有平衡的一天
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

推荐上一条 /2 下一条