用cm安装cdh集群注意事项

首先看下我刚刚遇到的一个报错信息：
sed: can't read /etc/cloudera-scm-agent/config.ini: No such file or directory
这个报错信息是在cm安装成功后再cm界面下安装节点时详细日志里发现的，找不到这个文件，导致一系列问题，就是因为service cloudera-scm-agent启动不起来。一个很笨但是很直接的方法：（/etc/cloudera-scm-agent/）
[root@slave cloudera-scm-agent]# scp /etc/cloudera-scm-agent/config.ini root@master:/etc/cloudera-scm-agent
再启动就ok了
[root@master etc]# service cloudera-scm-agent start
Starting cloudera-scm-agent:                            [  OK  ]
[root@master etc]# service cloudera-scm-agent status
cloudera-scm-agent (pid  37807) is running...

下面说下关于安装cm那些事：
首先所有节点 /etc/hosts下的文件要统一，包括所有节点的ip和hostname
以cdh5.8.0为例：准备这些东西：
rpm下载地址：http://archive.cloudera.com/cm5/redhat/6/x86_64/cm/5.8.0/RPMS/x86_64/
bin文件下载地址：http://archive.cloudera.com/cm5/installer/5.8.0/
parcel包下载地址：http://archive.cloudera.com/cdh5/parcels/5.8.0/
repo文件下载地址：一时没找到；详情：
[root@master yum.repos.d]# cat cloudera-cdh5.repo
[cloudera-cdh5]
name=Cloudera's Distribution for Hadoop, Version 5.8.0
baseurl=http://archive.cloudera.com/cdh5/redhat/6/x86_64/cdh/5.8.0/
gpgkey = http://archive.cloudera.com/cdh5 ... PM-GPG-KEY-cloudera
gpgcheck = 1
[root@master yum.repos.d]# cat cloudera-manager.repo
[cloudera-manager]
name = Cloudera Manager, Version 5.8.0
baseurl = https://archive.cloudera.com/cm5/redhat/6/x86_64/cm/5.8.0/
gpgkey = https://archive.cloudera.com/redhat/cdh/RPM-GPG-KEY-cloudera
gpgcheck = 1

离线安装包：
mkdir -p /opt/cloudera/parcel-repo
下面要有这几个文件：
-rw-r--r-- 1 root       root       1.4G Nov 23 06:59 CDH-5.8.0-1.cdh5.8.0.p0.42-el6.parcel       （离线安装包）
-rw-r--r-- 1 root       root          41 Nov 23 06:58 CDH-5.8.0-1.cdh5.8.0.p0.42-el6.parcel.sha （此文件.sha1 改名）
-rw-r--r-- 1 root       root       63K Nov 23 06:58 manifest.json

-rw-r--r-- 1 root root    335 Mar 31  2016 cloudera-cdh5.repo
-rw-r--r-- 1 root root 7900212 Nov 23 07:00 cloudera-manager-agent-5.8.0-1.cm580.p0.42.el6.x86_64.rpm
-rw-r--r-- 1 root root 555017904 Nov 23 07:45 cloudera-manager-daemons-5.8.0-1.cm580.p0.42.el6.x86_64.rpm
-rwxr-xr-x 1 root root 514985 Nov 23 06:59 cloudera-manager-installer.bin
-rw-r--r-- 1 root root    297 Mar 31  2016 cloudera-manager.repo
-rw-r--r-- 1 root root    8448 Nov 23 07:19 cloudera-manager-server-5.8.0-1.cm580.p0.42.el6.x86_64.rpm
-rw-r--r-- 1 root root    10160 Nov 23 07:19 cloudera-manager-server-db-2-5.8.0-1.cm580.p0.42.el6.x86_64.rpm
-rw-r--r-- 1 root root  71204325 Mar 31  2016 jdk-6u31-linux-amd64.rpm
-rw-r--r-- 1 root root    51188 Mar 31  2016 manifest.json
-rw-r--r-- 1 root root 142039186 Mar 31  2016 oracle-j2sdk1.7-1.7.0+update67-1.x86_64.rpm

mv ./*.repo /etc/yum.repos.d （检查下是否起效：yum list | grep cloudera）
执行命令：yum install -y ./*.rpm

装完之后  sh *.bin(  5.8.0 的cm安装界面很炫 )
之前是纯命令行界面安装cm，5.8.0开始了图形化界面安装，一路yes next就可以，期间可能会报错，需要注意的就是jdk版本于要用它自带的装上去，然后就是cloudera-scm-agent  和cloudera-scm-server两个服务是否安装完成并开启成功
cm安装完成后开始进入cdh的安装，进入localhost:7180界面    username/passwd:admin/admin

个别组件不适用或者警告可以忽略
选择安装组件时为了安装效率可以先选择核心组件如：hdfs yarn zookeeper，其他的可以在安装完后再添加

现在感觉hadoop的东西就剩yarn是不好替代的，mr一代在5.8.0已经不存在了，hdfs也有类似的文件系统可以替代比如：（不过hdfs市场占有率高）
http://www.emc.com/zh-cn/storage/isilon/index.htm