Hadoop常见 HA方案 及如何解决HA

第一部分：目前Hadoop1.0架构的问题


单点故障


•如果NameNode或者JobTraker关掉，那么整个集群瘫痪。
•对于7×24生产环境，是具有极大的风险。




第二部分：常见的HA方案
•第一种是可以设置一个NFS的目录，存储fsimage和editlog，存储的是实时数据，这样当namenode挂掉后能够通过fsimage和editlog进行完全恢复。
•第二种是设置Secondary Namenode。
•问题：不能迅速的切换，需要花费一定时间恢复。

FaceBook的方案


•不改变namenode和datanode整体逻辑的基础上，在其上层开发出AvaterNode，AvatarNode的意思就是支持互相切换。
•提供一个Primary Avatar和一个Standby Avatar，通过virual IP来设置IP地址。
•Primary Avatar对外提供服务，设置了NFS目录，将FSImage和EditLog远程存储。Standby Avatar将NFS目录中的FSImage和EditLog读取过来进行同步，并且设置Standby Avatar一直处于safemode状态，不影响正常操作。这样Standby Avatar相当于一个热拷贝，获得了所有的实时数据。




第三部分：Hadoop0.23 是如何解决的HA




•提供2台 机器做双机热备
•一台为Active 节点，一台为StandBy节点
•同时只有Active节点对外提供服务
•源数据存储在共享存储
•StandBy会时刻到共享存储拿Meta信息，以保证切换时不会丢掉数据
•DataNode会向2台机器汇报自己的信息
•仍需要配置Sencondary NameNode接解决Edits log变大问题

谢谢楼主分享！！