分享

Cloudera Manager5及CDH5安装指导(终极在线安装)

pig2 发表于 2014-9-9 17:34:31 [显示全部楼层] 只看大图 回帖奖励 阅读模式 关闭右栏 17 383915
本帖最后由 pig2 于 2014-9-25 19:02 编辑
问题导读:
1.Cloudera Manager5安装需要哪些环境要求?
2.哪些Linux系统上,可以安装Cloudera Manager5?
3.在安装cdh的过程中,该如何选择版本?





安装环境要求
集群中的四台主机必须满足以下要求:
主机必须至少有10 GB的RAM
对于RAM,我们或许没有太多的概念,下面可以参考
RAM容量是运行中的程序所占用的空间,他运行需要的空间、
ROM容量是你的系统可以存放,占用的空间,你的所有系统文件,程序都在这里存放

必须使用root用户,或则使用sudo无密码访问
(也就是说当你使用其它用户,使用sudo的时候,不能输入密码)

如果使用root用户,必须使用相同的密码
主机必须能上网,允许安装向导访问archive.cloudera.com
可以从下面选择一个系统
RHEL-兼容系统
  • Red Hat Enterprise Linux and CentOS 5.7, 64-bit
  • Red Hat Enterprise Linux and CentOS 6.4, 64-bit
  • Red Hat Enterprise Linux and CentOS 6.4 in SE Linux Mode
  • Red Hat Enterprise Linux and CentOS 6.5, 64-bit
  • Oracle Enterprise Linux 5.6 (UEK R2), 64-bit
  • Oracle Enterprise Linux 6.4 (UEK R2), 64-bit
  • Oracle Enterprise Linux 6.5 (UEK R2, UEK R3), 64-bit


  • SLES - SUSE Linux Enterprise Server 11, 64-bit. Service Pack 2或则更高版本. 更新存储库必须是激活的和 SUSE Linux Enterprise 软件开发包11 SP1 .
  • Debian - Debian 7.0 and 7.1, 64-bit
  • Ubuntu - Ubuntu 12.04, 64-bit



如果要求不能上面满足,安装会不成功。关于Cloudera Manager安装选项和安装要求的详细信息可以查看Cloudera Manager安装向导(英文版)
补充和强调一些内容
1.关闭防火墙
2.配置host,如下形式
  1. 172.16.77.12 master  master.aboutyun.com
复制代码


下载和运行Cloudera Manager Server 安装向导

1.从 Cloudera Manager 5.1.1 Downloads下载二进制安装包,选择你想安装的Cloudera Manager Server。
由于是英文的,下面给大家贴出图

zhuomian.png


同样还有另外一种方法:
可以进入下面链接寻找
CM5包汇总
http://archive.cloudera.com/cm5/
缺点:新手容易迷茫
优点:寻找快速

单击下载 Cloudera Express 或则 Download Cloudera Enterprise. 查看 Cloudera Express and Cloudera Enterprise Features.
选择注册和单击Submit 或则直接单击下载页链接( download page),下载 cloudera-manager-installer.bin文件

2.改变 cloudera-manager-installer.bin 的执行权限


  1. $ chmod u+x cloudera-manager-installer.bin
复制代码

3.执行 cloudera-manager-installer.bin


  1. $ sudo ./cloudera-manager-installer.bin
复制代码

4.按照cloudera-manager的README 来安装
5.阅读Cloudera Manager Express License,然后按照提示选择YES来确定接受授权(license)
6.读取 Oracle 二进制 Code 授权许可协议,然后安装
7.当安装完成,Cloudera Manager 管理控制台会提供一个完成的url包括默认端口7180
(这个安装过程可能持续很长时间,网速较慢,可能会持续一上午,甚至一天)
这时候把这个地址输入浏览器地址栏,就能看到页面了。默认用户名和密码都为admin.
denglu.png




在RHEL 5和CentOS 5,安装Python 2.6或2.7。下载合适的RPM包到Cloudera Manager服务器主机然后用yum安装Python。
举例,使用下面命令
  1. $ su -c 'rpm -Uvh http://download.fedoraproject.org/pub/epel/5/i386/epel-release-5-4.noarch.rpm'
  2. ...
  3. $ yum install python26
复制代码

注意:如果安装因为网络等原因终止了, 在你重新安装前需要清理,可以查看卸载 Cloudera Manager 5.1.x.和 相关软件【官网翻译:高可用】


启动 the Cloudera Manager Admin 控制台

一会Cloudera Manager Server 完全启动。 如果想观察主机的启动过程,在 the Cloudera Manager Server 主机上,可以执行
  1. tail -f /var/log/cloudera-scm-server/cloudera-scm-server.log
复制代码

如果 Cloudera Manager Server没有启动成功。可以查看 Troubleshooting Installation and Upgrade Problems.


在浏览器中输入
  1. http://Server host:7180
复制代码

server可以是hostname,也可以是Cloudera Manager Server的 ip地址。这样就能看到登录页面了。





登录Cloudera Manager Admin 控制
Username: admin
Password: admin.




使用Cloudera Manager 向导安装和配置软件


在集群主机上安装和配置Cloudera Manager ,CDH,和管理服务软件包括以下三个主要步骤

选择 Cloudera Manager 版本 和指定主机

1.选择版本
版本选择2.png
如上三个版本:
Clouder Express:
免费版,长期使用

Clouder Enterprise试用版:
试用60天


Clouder Enterprise:
需要上传授权许可
如上我们选择的是Clouder Express版

2.显示的是安装Cloudera Manager后面可以安装的服务的软件包
继续3.png

3.为CDH安装指定主机

添加ip4.png

这里需要说明的是指定主机安装有多种方式:
1.直接列出ip或则host,多台以逗号、分号、制表符、空格或放置在单独的行。
2.指定ip的地址范围例如:10.1.1.[1-4] 或则 host[1-3].company.com.3.记得指定的主机需要关闭防火墙,(如果遇到不能安装,最好使用安装cloudera manager虚拟机进行复制

4.为CDH安装指定主机

单击搜索,一下是给大家一个演示,(下面是你填写ip地址后,搜索的主机,如果以前安装失败的,下图虽然显示,但是不会让你选择,也就是不能打上对号)。

我们选择安装的主机后,进入下一步
选择机器9.png




安装CDH

选择安装方式
当我们选择安装的host之后,我们需要选择CDH的安装方式(方法),如下图所示

CDH5安装方式选择5.png

然后我们单击继续,系统开始安装

指定主机的 SSH 登录方式
一种通过root用户,密码需要一致
也可以使用非root用户,但是需要保证sudo无密码访问
实现方法如下
给aboutyun用户设置无密码sudo权限:
chmod u+w /etc/sudoers
aboutyun ALL=(root)NOPASSWD:ALL
chmod u-w /etc/sudoers
测试:sudo ifconfig

来自创建sudo无密码登陆

这里采用的是root用户

单击继续,我们看到下面界面

正在安装.png

注意:
这里安装的时候,相信你会碰到下面问题,解决办法:
  1. mv /usr/bin/host /usr/bin/host.bak
复制代码

出现问题
Detecting Cloudera Manager Server...
Detecting Cloudera Manager Server...
BEGIN host -t PTR 192.168.1.198
198.1.168.192.in-addr.arpa domain name pointer localhost.
END (0)
using localhost as scm server hostname
BEGIN which python
/usr/bin/python
END (0)
BEGIN python -c 'import socket; import sys; s = socket.socket(socket.AF_INET); s.settimeout(5.0); s.connect((sys.argv[1], int(sys.argv[2]))); s.close();' localhost 7182
Traceback (most recent call last):
File "<string>", line 1, in <module>
File "<string>", line 1, in connect
socket.error: [Errno 111] Connection refused
END (1)
could not contact scm server at localhost:7182, giving up
waiting for rollback request

安装过程中是下载与安装,我们看到下图,表示安装成功了。
安装完成.png


群集安装

集群安装.png
下面的步骤还包括,但是这些只要懂hadoop没有问题的,后面在补充

检查主机正确性
选择需要安装的服务,然后点击 检查角色分配
检查并确认角色分配,然后点击 继续
审核配置
启动集群结束后点击 继续




说明:
上面内容一步步安装即可,但是这个在线安装的
优点:
直接安装向导安装即可,省力

缺点:
网络一旦中断、或则安装过程中中断向导,可能会造成下次不能正确安装




同时可以参考
Cloudera Manager 5 和 CDH5 本地(离线)安装指南
适合国内网速的CM5、CDH5安装(CDH5半自动离线安装)



由于一些同学的要求,这里再补充一些细节:首先这个集群是二次安装集群,所以和上面截图有所不同。同时又由于安装中被中断了,问题得到解决,为了减少内存的消耗,不得不在宿主机上重新访问。有趣的是,在firefox和谷歌浏览器是两个不同的版本,firefox是英文版,chrome是中文版。
(由于内存)

那就接着从
集群安装开始:这里还是比较耗费时间的 1.png

在这个过程中还发生些问题,就是安装完毕和cloudera-scm-agent通信异常,不能检测到心跳。



具体解决办法,参考:Cloudera Manager5 在线bin安装遇到No socket could be created on[Errno 99] 总结





集群安装

图1
2.png

图2
安装完成3.png

这是一个很漫长的过程,不幸的是在下载完毕,执行分发的时候,这个过程被打断,安装被终止。导致回不到图2,这个该如何解决?
难道真的要重装吗?花费了大半天功夫,又不得不重来。

这里面的问题是找不到cloudera manager5所管理的节点了?
记得about云有这篇文章卸载 Cloudera Manager 5.1.x.和 相关软件【官网翻译:高可用】
但是这篇文章是卸载Cloudera Manager以及CDH的,由于cloudera-scm-server和cloudera-scm-agent查看都是运行正常的,如何查看状态,可以参考:
Cloudera Manager Server5及Cloudera Manager Agents5命令整理(about云),所以cloudera manager不需要卸载,卸载的是CDH的相关内容。
于是执行下面命令:


  1. sudo apt-update remove avro-tools crunch flume-ng hadoop-hdfs-fuse hadoop-hdfs-nfs3 hadoop-httpfs hbase-solr hive-hbase hive-webhcat hue-beeswax hue-hbase hue-impala hue-pig hue-plugins hue-rdbms hue-search hue-spark hue-sqoop hue-zookeeper impala impala-shell kite llama mahout oozie pig pig-udf-datafu search sentry solr-mapreduce spark-python sqoop sqoop2 whirr
复制代码
  1. sudo apt-get clean
复制代码
  1. sudo rm -Rf /var/lib/flume-ng /var/lib/hadoop* /var/lib/hue /var/lib/navigator /var/lib/oozie /var/lib/solr /var/lib/sqoop* /var/lib/zookeeper
复制代码
  1. sudo rm -Rf /dfs /mapred /yarn
复制代码
通过上面终于找到所管理的三个节点。然后从新登录,选择三个主机,然后继续继续,最后终于进入了这个界面。但是细心的同学会发现这里已经更换为中文版本。因为这是通过宿主主机访问的。而前面是在虚拟机里使用firefox访问的。


总算没有重新安装,但是



主机正确性检测
检测完成4.png

这里可能会遇到如下问题:

  1. Cloudera 建议将 /proc/sys/vm/swappiness 设置为 0。当前设置为 60。使用 sysctl 命令在运行时更改该设置并编辑 /etc/sysctl.conf 以在重启后保存该设置。您可以继续进行安装,但可能会遇到问题,Cloudera Manager 报告您的主机由于交换运行状况不佳。以下主机受到影响:
复制代码

解决办法:执行下面即可
  1. echo 0 > /proc/sys/vm/swappiness
复制代码







选择服务
由于内存紧张,所以这里安装了最少的服务
选择主机上的CDH5.png




单击继续即可


数据库设置:



这里使用默认设置,然后单击测试连接即可

使用数据库6.png







审核更改

审核更改7.png

同样这里采用的是默认设置



创建服务

这里是一个关键点,很多人会遇到错误。
并且有的服务创建成功,有的创建失败,于是我们点击重试那么对于成功的服务,他就不会再次出现,这就就是为什么,加入有19个服务,在此重试的时候,你可能会看到2个服务。


在这里遇到的错误是内存不够用,所以我们server最好是5个G,另外两个节点是3G,至少2G。我这里的内存分布是:有一个master,三个datanode.
server节点有namenode和datanode两个节点。
因为内存少,所以就遇到了下面问题:
  1. Command aborted because of exception: Command timed-out after 90 seconds
  2. 程序: hdfs/hdfs.sh ["mkdir","/tmp","hdfs","supergroup","1777"]
复制代码
创建目录失败.png


上面是命令超时。
解决办法:
再次重试,相信能过的。
假如这里你遇到了其它的问题,那么可以通过上图中的角色日志查看问题原因。





由于上面两个服务安装失败,所以在此点击重试的时候,剩下两个服务,创建成功
创建成功8.png

最后集群创建成功

集群创建成功哦你.png







已有(17)人评论

跳转到指定楼层
linhai1023 发表于 2014-9-10 09:45:47
额,不懂,先留着
回复

使用道具 举报

Victor-Shy 发表于 2014-9-22 10:42:16
回复

使用道具 举报

pig2 发表于 2014-9-26 01:26:55
Victor-Shy 发表于 2014-9-22 10:42
楼主可不可以讲的详细些呢
已补充
回复

使用道具 举报

bwboy 发表于 2014-9-29 10:56:44
好文章,真详细,谢谢!
回复

使用道具 举报

夏洛特猫 发表于 2015-10-14 16:28:23
楼主我想问下安装完之后 网页如何修改成中文的 我的是英文的 多谢
回复

使用道具 举报

leo_1989 发表于 2015-10-14 16:29:41
夏洛特猫 发表于 2015-10-14 16:28
楼主我想问下安装完之后 网页如何修改成中文的 我的是英文的 多谢

浏览器会自动识别,谷歌应该是中文的
回复

使用道具 举报

Anspace 发表于 2015-11-5 13:58:32
本帖最后由 pig2 于 2015-11-5 14:48 编辑
夏洛特猫 发表于 2015-10-14 16:28
楼主我想问下安装完之后 网页如何修改成中文的 我的是英文的 多谢

设置>显示高级选项>语言和输入设置>将中文直接拖拽置顶(如果没有的话选“添加”来添加中文,然后拖拽置顶)>确认,刷新网页! Snap25.jpg

Snap26.jpg

Snap27.jpg

Snap28.jpg



回复

使用道具 举报

shareshow 发表于 2015-11-5 20:07:16
怎么没人讲怎么离线安装cdh啊???
回复

使用道具 举报

Pengjx2015 发表于 2016-1-16 20:07:52
今天刚刚成功
回复

使用道具 举报

12下一页
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

推荐上一条 /2 下一条