Joker 发表于 2015-4-2 16:41:53

在Hadoop2.X中如果不做HA,NN挂机集群还可以正常运行

接触Hadoop的时候是2.x开始的,虽然现在2.x可以做Hadoop HA,但以前Hadoop 1.x中没有HA这样的机制
是如何保证NN挂机,集群还可以正常运行?

有朋友知道吗?

sstutu 发表于 2015-4-2 16:52:26

hadoop1.x通过secondary namenode来完成。
不过时间恢复需要时间,而且可能存在丢失数据的现象

sstutu 发表于 2015-4-2 17:08:48





SecondaryNameNode是一个用来监控HDFS状态的辅助后台程序。就想NameNode一样,每个集群都有一个SecondaryNameNode,并且部署在一个单独的服务器上。SecondaryNameNode不同于NameNode,它不接受或者记录任何实时的数据变化,但是,它会与NameNode进行通信,以便定期地保存HDFS元数据的 快照。由于NameNode是单点的,通过SecondaryNameNode的快照功能,可以将NameNode的宕机时间和数据损失降低到最小。同时,如果NameNode发生问题,SecondaryNameNode可以及时地作为备用NameNode使用。
来自:
hadoop详细了解5个进程的作用

Joker 发表于 2015-4-2 19:22:14

sstutu 发表于 2015-4-2 17:08
SecondaryNameNode是一个用来监控HDFS状态的辅助后台程序。就想NameNode一样,每个集群都有一个S ...

额,我当时也是说使用SecondaryNameNode来完成,但是同事说不对。也没给个答案,特来提问,谢谢了

Joker 发表于 2015-4-2 19:25:09

sstutu 发表于 2015-4-2 17:08
SecondaryNameNode是一个用来监控HDFS状态的辅助后台程序。就想NameNode一样,每个集群都有一个S ...

那么,在不把NN服务器的问题解决,通过SecondaryNameNode来当做备用的NN,集群服务还是正常的(不考虑数据丢失)?

arsenduan 发表于 2015-4-2 19:43:23

Joker 发表于 2015-4-2 19:25
那么,在不把NN服务器的问题解决,通过SecondaryNameNode来当做备用的NN,集群服务还是正常的(不考虑 ...

SecondaryNameNode不能当作namenode,它只能恢复namenode.
还有另外的方案是双机热备。
也就是hadoop1.x的namenode,实时的备份一份。
这个在没有产生hadoop的时候,就已经有这种冗余的方案了。相当于完全复制

Joker 发表于 2015-4-2 20:39:37

arsenduan 发表于 2015-4-2 19:43
SecondaryNameNode不能当作namenode,它只能恢复namenode.
还有另外的方案是双机热备。
也就是hadoop1 ...

请教一下双机热备如何实现?可以说一下大概吗?

howtodown 发表于 2015-4-2 21:26:25

Joker 发表于 2015-4-2 20:39
请教一下双机热备如何实现?可以说一下大概吗?

双机热备
主-备方式(Active-Standby方式)和双主机方式(Active-Active方式),主-备方式即指的是一台服务器处于某种业务的激活状态(即Active状态),另一台服务器处于该业务的备用状态(即Standby状态)。而双主机方式即指两种不同业务分别在两台服务器上互为主备状态(即Active-Standby和Standby-Active状态)。
详细参考下面:
Hadoop 双机热备-AvatarNode部署

hadoop双机热备方案
页: [1]
查看完整版本: 在Hadoop2.X中如果不做HA,NN挂机集群还可以正常运行