实用 | Cloudera产品高可用性配置（操作）

问题导读

1.如何设置高可用性？

2.如何配置CDH其他组件使用HDFS高可用性？

3.如何配置Impala使用HDFS高可用性

1. 设置高可用性

4.1 使用QuorumJournalManager进行共享存储

在Cloudera Manager 5中，HA是通过QJM方式实现的。以下步骤演示了如何启用高可用性HDFS，并启用自动故障恢复。

1. 在Cloudera Manager中，进入HDFS Service

2. 点击Actions > Enable High Availability，如下图所示



3. 指定一个Nameservice名称，默认为nameservice1，点击Continue按钮继续



4. 在NameNode Hosts属性中, 点击 Select a host. 弹出选择主机窗口，如下图所示




5. 指定NameNode Hosts和JournalNode Hosts后，点击Continue按钮继续



6. 填写JournalNode Edits Directory，默认值为空，此处设为/dfs/jn，点击Continue按钮继续



7. Cloudera Manager执行一系列的命令进行配置，等待直到执行结束后，点击Continue按钮继续



8. 点击Finish按钮，HDFS 高可用性配置结束



2. 配置CDH其他组件使用HDFS高可用性

配置Hive Metastore、Hue、Impala等CDH组件使用HDFS 高可用性。

5.1 配置Hive Metastore使用HDFS高可用性

1. 在Cloudera Manager中，进入Hive Service

2. 点击Actions > Stop，如果Hue和Impala服务正在运行，需要先将其停止。如下图所示



3. 当Hive服务停止以后，请先备份Hive Metastore的数据，即将元数据从MySQL（PostgreSQL或Oracle）库中导出到一个安全目录

4. 选择 Actions > Update Hive Metastore NameNodes并点击Confirm按钮确认。如下图所示



5. 等待配置执行完毕后，关闭


6. 点击Actions > Start，如果Hue和Impala服务已停止，需要先将其启动

5.2 配置Hue使用HDFS高可用性

1. 在Cloudera Manager中，进入HDFS Service

2. 进入Instances标签页面，点击Add Role Instances按钮，如下图所示



3. 点击HttpFS角色下面文本框选择主机，并点击OK按钮



4. 点击Continue按钮，如下图所示



5. 返回Instances页面，选择HttpFS角色，并点击Start启动服务，如下图所示



6. HttpFS服务启动后，点击进入Hue Service > Configuration页面，如下图所示



7. 找到Service-Wide > HDFS Web Interface Role属性，选中httpfs单选框，如下图所示



8. 点击Save Changes按钮保存修改并重启Hue服务

5.3 配置Impala使用HDFS高可用性

1. 确保之前的5.1章节Hive Metastore使用HDFS 高可用性配置成功

2. 进入impala shell，执行INVALIDATE METADATA命令，如下图所示

学习学习 问一句楼主这是CDH哪个版本？

想请教一下，第6步配置JN的编辑目录只能一个文件路径可以填写，是什么原因？