在Hadoop2.X中如果不做HA,NN挂机集群还可以正常运行
接触Hadoop的时候是2.x开始的,虽然现在2.x可以做Hadoop HA,但以前Hadoop 1.x中没有HA这样的机制是如何保证NN挂机,集群还可以正常运行?
有朋友知道吗?
hadoop1.x通过secondary namenode来完成。
不过时间恢复需要时间,而且可能存在丢失数据的现象
SecondaryNameNode是一个用来监控HDFS状态的辅助后台程序。就想NameNode一样,每个集群都有一个SecondaryNameNode,并且部署在一个单独的服务器上。SecondaryNameNode不同于NameNode,它不接受或者记录任何实时的数据变化,但是,它会与NameNode进行通信,以便定期地保存HDFS元数据的 快照。由于NameNode是单点的,通过SecondaryNameNode的快照功能,可以将NameNode的宕机时间和数据损失降低到最小。同时,如果NameNode发生问题,SecondaryNameNode可以及时地作为备用NameNode使用。
来自:
hadoop详细了解5个进程的作用
sstutu 发表于 2015-4-2 17:08
SecondaryNameNode是一个用来监控HDFS状态的辅助后台程序。就想NameNode一样,每个集群都有一个S ...
额,我当时也是说使用SecondaryNameNode来完成,但是同事说不对。也没给个答案,特来提问,谢谢了 sstutu 发表于 2015-4-2 17:08
SecondaryNameNode是一个用来监控HDFS状态的辅助后台程序。就想NameNode一样,每个集群都有一个S ...
那么,在不把NN服务器的问题解决,通过SecondaryNameNode来当做备用的NN,集群服务还是正常的(不考虑数据丢失)? Joker 发表于 2015-4-2 19:25
那么,在不把NN服务器的问题解决,通过SecondaryNameNode来当做备用的NN,集群服务还是正常的(不考虑 ...
SecondaryNameNode不能当作namenode,它只能恢复namenode.
还有另外的方案是双机热备。
也就是hadoop1.x的namenode,实时的备份一份。
这个在没有产生hadoop的时候,就已经有这种冗余的方案了。相当于完全复制
arsenduan 发表于 2015-4-2 19:43
SecondaryNameNode不能当作namenode,它只能恢复namenode.
还有另外的方案是双机热备。
也就是hadoop1 ...
请教一下双机热备如何实现?可以说一下大概吗? Joker 发表于 2015-4-2 20:39
请教一下双机热备如何实现?可以说一下大概吗?
双机热备
主-备方式(Active-Standby方式)和双主机方式(Active-Active方式),主-备方式即指的是一台服务器处于某种业务的激活状态(即Active状态),另一台服务器处于该业务的备用状态(即Standby状态)。而双主机方式即指两种不同业务分别在两台服务器上互为主备状态(即Active-Standby和Standby-Active状态)。
详细参考下面:
Hadoop 双机热备-AvatarNode部署
hadoop双机热备方案
页:
[1]