分享

Hadoop升级方案(二):从Hadoop 1.0升级到2.0(2)

在前一篇文章“Hadoop升级方案(二):从Hadoop 1.0升级到2.0(1)”中,我已经介绍了如何从Hadoop 1.0升级到2.0,且启用2.0的HA功能。本文将重点介绍如何同时启动2.0的HA和federation功能。本文主要介绍配置方法,具体的升级流程和服务启动方式可参考前一篇文章。
1. 基础知识准备
由于Hadoop 2.0增加了很多新的特性,包括HDFS HA,HDFS Federation,新的资源管理系统YARN等,在部署Hadoop 2.0之前,你需要对这些特性有一个理论上的了

2. 启用HA和Federation
前面一篇文章介绍了HA的配置方法,即整个集群只有一个对外可用的namenode,同时为这个namenode增加一个backup namenode以解决HDFS单点故障问题,如下图所示:
3.jpg
为了启用federation,我们需再增加N个namenode,并为每个namenode添加一个backup namenode,以解决每个namenode的单点故障问题。本文介绍N=1的情况,其他情况类似。再增加一个namenode和backup namenode后,部署架构如下:
2.jpg
该结构的配置方法可参考“Hadoop 2.0 NameNode HA和Federation实践”和“Apache官网给出的Federation配置方法”。
3. 启用client side moutable table
当启用HDFS Federation功能时,由于存在多个namenode视图,可能会给用户使用带来不便,为此,可通过配置client-side mount table为用户提供一个统一HDFS访问视图,这是通过新引入的文件系统viewfs实现的,关于viewfs的介绍,可参考我的这篇文章“HDFS Federation客户端(viewfs)配置攻略”。配有client-side mount table的客户端访问图如下:
1.jpg
同样,配置方法可参考“Hadoop 2.0 NameNode HA和Federation实践”和“User Guide for how to use viewfs with federation”。




没找到任何评论,期待你打破沉寂

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

推荐上一条 /2 下一条