hadoop节点死机会丢数据吗？

死机了3个节点，然后重新开机，启动dfs和map之后，连上之后发现在这些节点上占用的存储空间比之前少了很多！！！有这方面经历的指点指点！！！

hyj · 发表于 2014-1-2 11:26:14

hadoop只要不是三个节点都死机，数据一般不会丢失

zzzzyyyyy · 发表于 2014-1-2 11:31:02

死的节点没有启动dfs和map之前给的警告是：There are about 24 missing blocks. Please check the log or run fsck.启动dfs和map之后警告消失！！！！

hyj · 发表于 2014-1-2 11:33:05

zzzzyyyyy 发表于 2014-1-2 11:31
死的节点没有启动dfs和map之前给的警告是：There are about 24 missing blocks. Please check the log or r ...

单个节点丢失数据，集群会自动恢复，恢复之后，警告就会消失

lzw · 发表于 2014-1-2 12:51:38

应该是你的节点数据没有把数据做持久化。

Martin · 发表于 2014-1-2 12:57:29

如果数据丢失，是不是可以考虑下balance

lzw · 发表于 2014-1-2 16:34:54

Martin 发表于 2014-1-2 12:57
如果数据丢失，是不是可以考虑下balance

丢数据跟balance应该没有关系吧。

zzzzyyyyy · 发表于 2014-1-2 18:47:32

lzw 发表于 2014-1-2 12:51
应该是你的节点数据没有把数据做持久化。

这个数据持久化怎么做？

lzw · 发表于 2014-1-2 20:47:23

zzzzyyyyy 发表于 2014-1-2 18:47
这个数据持久化怎么做？

这个是hadoop内部的机制，就跟hbase的一样的。

zzzzyyyyy · 发表于 2014-1-2 20:49:16

lzw 发表于 2014-1-2 20:47
这个是hadoop内部的机制，就跟hbase的一样的。

默认有？？还是没有？

图文精华