分享

离线安装Cloudera Manager5.3.4与CDH5.3.4(二)

本帖最后由 poppowerlb2 于 2015-6-29 23:20 编辑
问题导读:
1、如何制作本地源?
2、如何安装CDH?
3、怎么样检查Hue?



Cloudera Manager Server和Agent都启动以后,就可以进行CDH5的安装配置了。
这时可以通过浏览器访问主节点的7180端口测试一下了(由于CM Server的启动需要花点时间,这里可能要等待一会才能访问),默认的用户名和密码均为admin。

制作本地源
这里需要下载三样东西,
首先是与自己系统版本相对应的parcel包,然后是manifest.json文件。
[mw_shl_code=shell,true]CDH-5.2.0-1.cdh5.2.0.p0.12-el6.parcel、
CDH-5.2.0-1.cdh5.2.0.p0.12-el6.parcel.sha1、
manifest.json[/mw_shl_code]
下载完成后,将这两个文件放到master节点的/opt/cloudera/parcel-repo下(目录在安装Cloudera Manager 5时已经生成),注意目录一个字都不能错。
[mw_shl_code=shell,true][root@hadoop1 parcel-repo]# pwd
/opt/cloudera/parcel-repo
[root@hadoop1 parcel-repo]# ll
总用量 1533188
-rw-r-----. 1 root root 1569930781 6月  27 11:49 CDH-5.3.4-1.cdh5.3.4.p0.4-el6.parcel
-rw-r--r--. 1 root root         41 6月  27 11:49 CDH-5.3.4-1.cdh5.3.4.p0.4-el6.parcel.sha
-rw-r--r--. 1 root root      42475 6月  27 10:18 manifest.json[/mw_shl_code]
接下来打开manifest.json文件,里面是json格式的配置,我们需要的就是与我们系统版本相对应的hash码,因为我们用的是Centos6.5,所以找到如下位置:
20150627220043078.png
在这个大括号的最下面找到“hash”所对应的值。
20150627220056596.png
将“hash”的值复制下来,然后,将CDH-5.2.0-1.cdh5.2.0.p0.12-el6.parcel.sha1文件名改为CDH-5.2.0-1.cdh5.2.0.p0.12-el6.parcel.sha,将复制下来的hash值替换掉文本中的hash值,按理说应该是一致的。保存好了,这样,我们的本地源制作完成了。
然后的操作就是控制台按照步骤安装即可。

安装CDH
打开http://hadoop1:7180,登陆控制台,默认账户和密码都是admin,安装时选择免费版,之后由于cm5对中文的支持很强大,按照提示安装即可,如果系统配置有什么问题在安装过程中会有提示,根据提示给系统安装组件就可以了。
登录界面
20150627221016429.png
选取安装版本
20150627221203067.png

指定安装主机
20150627221434028.png
选取本地Parcel包
接下来,出现以下包名,说明本地Parcel包配置无误,直接点继续就可以了。
20150627221654274.png
集群安装
20150627221816436.png
检查主机正确性
接下来是服务器检查,可能会遇到以下问题:
[mw_shl_code=text,true]Cloudera 建议将 /proc/sys/vm/swappiness 设置为 0。当前设置为 60。
使用 sysctl 命令在运行时更改该设置并编辑 /etc/sysctl.conf 以在重启后保存该设置。
您可以继续进行安装,但可能会遇到问题,Cloudera Manager 报告您的主机由于交换运行状况不佳。
以下主机受到影响:
···[/mw_shl_code]
在会受到影响的主机上执行echo 0 > /proc/sys/vm/swappiness命令即可解决。
选择安装服务
20150627222228283.png
集群角色分配
一般情况下保持默认就可以了(Cloudera Manager会根据机器的配置自动进行配置,如果需要特殊调整,自行进行设置就可以了)。
集群数据库设置
20150627222608929.png
集群审查更改
如果没有其他需求保持默认配置。
20150627222743017.png
终于到安装各个服务的地方了。
注意,这里安装Hive的时候可能会报错,因为我们使用了MySql作为hive的元数据存储,hive默认没有带mysql的驱动,通过以下命令拷贝一个就行了:
[mw_shl_code=shell,true]cp /opt/cm-5.3.4/share/cmf/lib/mysql-connector-java-5.1.25-bin.jar
/opt/cloudera/parcels/CDH-5.3.4-1.cdh5.3.4.p0.12/lib/hive/lib/[/mw_shl_code]
之后再继续安装就不会遇到问题了。
经过漫长的等待后,服务的安装完成:
20150627224052057.png
安装完成后,就可以进入集群界面看一下集群的当前状况了。
20150627224201516.png
20150627225608460.png
测试
[mw_shl_code=shell,true][root@hadoop1 /]# su hdfs
[hdfs@hadoop1 /]$ yarn jar /opt/cloudera/parcels/CDH/lib/hadoop-mapreduce/hadoop-mapreduce-examples.jar  pi 100 1000
Number of Maps  = 100
Samples per Map = 1000
Wrote input for Map #0
Wrote input for Map #1
Wrote input for Map #2
Wrote input for Map #3
Wrote input for Map #4
Wrote input for Map #5
Wrote input for Map #6
Wrote input for Map #7
Wrote input for Map #8
Wrote input for Map #9
Wrote input for Map #10

····

15/06/27 22:45:55 INFO mapreduce.Job:  map 100% reduce 0%
15/06/27 22:46:00 INFO mapreduce.Job:  map 100% reduce 100%
15/06/27 22:46:01 INFO mapreduce.Job: Job job_1435378145639_0001 completed successfully
15/06/27 22:46:01 INFO mapreduce.Job: Counters: 49
        Map-Reduce Framework
                Map input records=100
                Map output records=200
                Map output bytes=1800
                Map output materialized bytes=3400
                Input split bytes=14490
                Combine input records=0
                Combine output records=0
                Reduce input groups=2
                Reduce shuffle bytes=3400
                Reduce input records=200
                Reduce output records=0
                Spilled Records=400
                Shuffled Maps =100
                Failed Shuffles=0
                Merged Map outputs=100
                GC time elapsed (ms)=3791
                CPU time spent (ms)=134370
                Physical memory (bytes) snapshot=57824903168
                Virtual memory (bytes) snapshot=160584515584
                Total committed heap usage (bytes)=80012115968
        Shuffle Errors
                BAD_ID=0
                CONNECTION=0
                IO_ERROR=0
                WRONG_LENGTH=0
                WRONG_MAP=0
                WRONG_REDUCE=0
        File Input Format Counters
                Bytes Read=11800
        File Output Format Counters
                Bytes Written=97
Job Finished in 50.543 seconds
Estimated value of Pi is 3.14120000000000000000[/mw_shl_code]


查看mapreduce作业
20150627225239978.png
检查Hue
首次登陆Hue会让设置一个初试的用户名和密码,设置好,登陆到后台,会做一次检查,一切正常后会提示。
20150627224808382.png
到这里表明我们的集群可以使用了。










已有(4)人评论

跳转到指定楼层
levycui 发表于 2015-6-30 14:56:58
谢谢分享,有个问题:
yarn jar /opt/cloudera/parcels/CDH/lib/hadoop-mapreduce/hadoop-mapreduce-examples.jar  pi 100 1000
hadoop jar 。。。
回复

使用道具 举报

极地苍狐 发表于 2015-7-22 21:44:16
你好 我按照你的帖子用不同的CDH版本试了几次   发现都是在安装CDH过程中启动Sqoop2的时候报错

QQ截图20150507144320.png
QQ截图20150722214309.png
QQ截图20150722214322.png
回复

使用道具 举报

ppBruce 发表于 2015-8-24 09:09:57
楼主你好,我想问一下用Cloudera Manager安装cdh,数据库不用mysql,用自带的postgresql可以吗
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

推荐上一条 /2 下一条