2. 启用HA和Federation
前面一篇文章介绍了HA的配置方法,即整个集群只有一个对外可用的namenode,同时为这个namenode增加一个backup namenode以解决HDFS单点故障问题,如下图所示:
为了启用federation,我们需再增加N个namenode,并为每个namenode添加一个backup namenode,以解决每个namenode的单点故障问题。本文介绍N=1的情况,其他情况类似。再增加一个namenode和backup namenode后,部署架构如下:
该结构的配置方法可参考“Hadoop 2.0 NameNode HA和Federation实践”和“Apache官网给出的Federation配置方法”。 3. 启用client side moutable table
当启用HDFS Federation功能时,由于存在多个namenode视图,可能会给用户使用带来不便,为此,可通过配置client-side mount table为用户提供一个统一HDFS访问视图,这是通过新引入的文件系统viewfs实现的,关于viewfs的介绍,可参考我的这篇文章“HDFS Federation客户端(viewfs)配置攻略”。配有client-side mount table的客户端访问图如下:
同样,配置方法可参考“Hadoop 2.0 NameNode HA和Federation实践”和“User Guide for how to use viewfs with federation”。