CDH5 新手详细安装教程

本帖最后由 Tank_2000 于 2016-4-16 23:55 编辑

环境:
操作系统:CentOS 6.5
hadoop: cloudera hadoop 5.1.0
主机：192.168.1.100 master 内存4G 硬盘25G,
      192.168.1.101 slave1  内存2G 硬盘25G

一、Linux 环境设置
以下操作是在master主机上进行
1.网卡设置
[mw_shl_code=shell,true]vi /etc/sysconfig/network-scripts/ifcfg-eth0

DEVICE="eth0"
BOOTPROTO="static"
IPV6INIT="yes"
NM_CONTROLLED="yes"
ONBOOT="yes"
TYPE="Ethernet"
UUID="8278a898-a033-4992-bbd7-8272ac03d54a"
IPADDR=192.168.1.100
PREFIX=24
GATEWAY=192.168.1.1
DNS1=202.106.195.68
DEFROUTE=yes
IPV4_FAILURE_FATAL=yes
IPV6_AUTOCONF=yes
IPV6_DEFROUTE=yes
IPV6_FAILURE_FATAL=no
NAME="System eth0"
HWADDR=00:0C:29:60:82:46
DOMAIN=202.106.46.151
IPV6_PEERDNS=yes
IPV6_PEERROUTES=yes
LAST_CONNECT=1457875283[/mw_shl_code]
重启服务：[mw_shl_code=bash,true] service network restart[/mw_shl_code]
常见问题:重启完后如果还ping不通网关，请检查虚拟机的网络适配器连接方式是否调成了桥接模式。

2设置网络环境
修改主机名:
[mw_shl_code=bash,true]vi /etc/sysconfig/network

NETWORKING=yes
HOSTNAME=master[/mw_shl_code]

设置完hostname后当前shenll命令窗口并没有立即生效，我们可以在shell窗口中执行命令:[mw_shl_code=bash,true]hostname master[/mw_shl_code]
然后重新打开一个新的shell 命令行窗口就会发现hostname已经生效
3关闭防火墙
修改文件：
[mw_shl_code=bash,true]vi /etc/sysconfig/selinux[/mw_shl_code]
修改如下内容：
[mw_shl_code=bash,true]SELINUX=disabled[/mw_shl_code]

修改完以后执行命令：chkconfig iptables off 关闭防火墙
再次检查防火墙服务状态：
[mw_shl_code=bash,true][root@master ~]# chkconfig iptables --list
iptables             0:off       1:off       2:off       3:off       4:off       5:off       6:off[/mw_shl_code]

4修改hosts
[mw_shl_code=bash,true]vi /etc/hosts
127.0.0.1 localhost
192.168.1.100 master
192.168.1.101 slave1
[/mw_shl_code]

5 克隆节点slave1
关闭master节点后，克隆slave1节点

克隆完成后分别将内存调成1G
然后重复以上1，2步骤，分别修改slave1的IP和主机名

二、CM安装
1.CM5下载
1.下载CM5 软件包:
http://archive.cloudera.com/cm5/ ... /5.1.0/RPMS/x86_64/

cloudera-manager-daemons-5.1.0-1.cm510.p0.75.el6.x86_64.rpm
oracle-j2sdk1.7-1.7.0+update55-1.x86_64.rpm
jdk-6u31-linux-amd64.rpm

http://archive.cloudera.com/cm5/installer/5.1.0/
cloudera-manager-installer.bin

http://archive.cloudera.com/cm5/redhat/6/x86_64/cm/
cloudera-manager.repo

以上包下载完以后拷贝到
root 用户默认路径下新建的soft文件夹中，然后chmod 755 *.rpm 授权所有rmp包

[mw_shl_code=bash,true]cp cloudera-manager.repo /etc/yum.repos.d/[/mw_shl_code]
修改cloudera-manager.repo 中的版本由5改成5.1.0

验证cm依赖包  [mw_shl_code=bash,true]yum list | grep cloudera[/mw_shl_code]

如果显示对应的rpm包说明正常，可以做下一步的手工安装以上下载的所有rpm包.

2.手工安装
首先手工安装第一步下载的rpm包，然后安装bin包
./cloudera-manager-installer.bin，以下图形界面过程中，一直选Next 或者OK 即可。

登录界面：http://192.168.1.100:7180 出现以下界面说明cloudera CM安装已经成功，可以登录进去配置集群和安装其他服务了。

三、 CDH5 集群安装
1.下载离线安装包:http://archive.cloudera.com/cdh5/parcels/5.1.0/
CDH-5.1.0-1.cdh5.1.0.p0.53-el6.parcel
CDH-5.1.0-1.cdh5.1.0.p0.53-el6.parcel.sha1
manifest.json

下载完后，CDH-5.1.0-1.cdh5.1.0.p0.53-el6.parcel.sha1 重新命名把最后面的1去掉
然后只保留里面的hashcode 后面的url去掉

2.在所有机器下新建目录
mkdir -p /opt/cloudera/parcel-repo
然后将以上离线包考进去

3.通过CM界面进行集群的安装