HDFS的工作原理扫扫盲

hadoopmaster · 发表于 2016-11-20 20:44:56

[CDH 5.2] HDFS 中的namenode启动不了
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20341
(出处: about云开发)

求大神解决。。。

cherubimsun · 发表于 2017-1-17 13:45:20

多谢无私分享，学习一下

Luo_D · 发表于 2017-2-27 19:58:47

qubibo 发表于 2016-4-18 16:00
“总有超过一个副本存在(默认3个)，当一个硬盘故障时，HDFS会检测到存储在该硬盘的数据块的副本数量低于要 ...

不会吧，namenode会对出现故障的datanode（因长时间探测不到心跳）做出“失效”标记，该数据节点上的所有数据块会根据namenode上的元数据信息，在另外的节点上进行重新备份。该故障节点就不会计算在内了。假设出现像你说的故障节点恢复的情况，也会由hdfs-site.xml中设置的hdfs.replications进行处理。

仞天 · 发表于 2017-3-7 17:08:28

好文，已读。。

yoyolachel · 发表于 2017-3-23 20:57:14

楼主总结的真的通俗易懂，很容易就看懂了，厉害！谢谢。

justbigdata · 发表于 2017-5-5 14:45:43

Luo_D 发表于 2017-2-27 19:58
不会吧，namenode会对出现故障的datanode（因长时间探测不到心跳）做出“失效”标记，该数据节点上的所有 ...

能说明一下宕机以后，如果再起来具体是怎么处理的，就是这台机器里的数据到底是彻底无效了还是在某些条件下又有效了？如果有效了，就有4份copy了，那这个情况会发生吗？

sjzwyb · 发表于 2017-6-2 17:11:10

不错，说的很清楚，涨知识了

lcfmango · 发表于 2017-6-6 11:07:28

涨知识

图文精华

HDFS的工作原理扫扫盲

推荐 /2