离线安装cloudera manager server和hadoop集群

目的：
cloudera manager server安装hadoop集群的服务大大简化了安装过程，即使不懂linux的人之需要鼠标点一点就可以安装和管理，但是cloudera manager server所有的安装过程都是在线的，如果某地网速过慢或者无法联网，就需要离线来安装cloudera manager server。下面我来介绍一下我安装的步骤


环境：
ubuntu 12.04 64位系统（其他系统安装原理也是类似的）


大概思路：
看cloudera manager server的安装过程的提示可以看出，cm是把它官网的源加入到本地，然后执行apt-get install来安装，所以很容易的想到把官网上的源下下来，然后在局域网建立一个源，笔者也是这么做的。


具体步骤：
1，下载官网上的源，笔者使用wget这个工具，具体命令如下：
wget -mc http://archive.cloudera.com/cdh4/ubuntu/precise/amd64/cdh/
wget -mc http://archive.cloudera.com/cm4/ubuntu/precise/amd64/cm/
大家仔细分析下这两个源就知道这是什么了

2，下载好的源建立服务器
参考如下内容进行配置：
系统环境：ubuntu12.04
一、实验目的
在一台ubuntu12.04服务器上面建立ubuntu常用软件安装源，由于项目需求需要安装很多的deb包，并保证局域网数台机器都部署一致的软件和环境，那我们先找一台服务器端联网apt-get下载需要的软件包，做成本地源，然后局域网数台服务器通过脚本或者通过kickstart自动同步该安装源。
服务器端ip：192.9.117.140
测试机ip：  192.9.117.141
二、正式安装
1、首先在服务器端apt-get install  安装所需软件，当我们安装完后，我们会发现，我们刚刚安装的软件都保存在/var/cache/apt/archives/目录下，我们看到该目录下很多.deb文件。
创建目录mkdir /data/soft -p   //设立安装源路径
拷贝/var/cache/apt/archives/文件到/data/soft  命令：cp -p /var/cache/apt/archives/*.deb  /data/soft/
2、安装dpkg-dev
安装dpkg-dev，并执行dpkg-scanpackages 扫描依赖包并生成依赖关系gz包：
root@ubuntu12-04:~# apt-get install  dpkg-dev -y
Reading package lists... Done
Building dependency tree      
Reading state information... Done
dpkg-dev is already the newest version.
0 upgraded, 0 newly installed, 0 to remove and 0 not upgraded.
root@ubuntu12-04:~#
root@ubuntu12-04:~# cd /data/
root@ubuntu12-04:/data# ls
soft
root@ubuntu12-04:/data# dpkg-scanpackages soft/ |gzip > soft/Packages.gz
3、建立源链接
编译安装nginx，用来做ubuntu本地源的web服务器
tar xzf nginx-1.2.0.tar.gz  &&cd nginx-1.2.0 &&./configure  ./configure --without-http_rewrite_module &&make &&make install 即可。
然后修改nginx.conf发布目录为/data目录，并在http段添加 autoindex  on;即可！
启动nginx /usr/local/nginx/sbin/nginx
确保访问http://192.9.117.140/ 可以查看到soft目录即表示nginx 安装配置成功
三、客户机测试
环境：客户机无法联网，服务器配置完毕后，为了跟客户端联通网络，断开服务器的外网网络，保持跟客户端同网段，然后如下：
修改source源文件/etc/apt/sources.list
cp /etc/apt/sources.list  /etc/apt/sources.list.back  //备份文件
可以新建/etc/apt/sources.list 空文件
echo "deb http://192.9.117.140  soft/ " >/etc/apt/sources.list  【注意source.list内容的格式，soft代表目录，因为140已经指定了发布目录为/data，所以这里不要写成 /data/soft/】
以上步骤完成后就ok了！
最后在客户端执行 apt-get update 截图如下:


我们现在安装软件就会从源里面寻找 apt-get install  软件名即可！






还有一点说明就是如果访问服务器是403 forbid的话把nginx的配置文件的用户和用户组都改成root
假设建立好了源 比如源建在192.168.1.2这个机子 只需要在每台机子的/etc/apt/sources.list里面加入：
deb [arch=amd64] http://ip/cm4/ubuntu/precise/amd64/cm precise-cm4 contrib
deb-src http://ip/cm4/ubuntu/precise/amd64/cm precise-cm4 contrib
然后apt-get update一下 就会发现用apt-get install hadoop什么都存在了

3，离线安装cloudera manage server
在上一篇博客里面已经介绍了cm在线的安装办法，按道理说现在也这样安装就没有问题，因为源都在本地了。但是经过查看日志文件知道，cm安装过程中还要从其他网址下载东西比如mysql和postsql，ssh等，这些都需要我们下好，然后手动安装（当然，你可以把这些下好，然后加入到源里面，就可以安装，但是笔者对于源不是很熟悉，希望这样成功的人能留言告知下具体做法）。
在执行 cloudera-manager-installer.bin需要先安装这些

4，离线安装hadoop集群
需要安装hadoop服务的机子需要安装如下：
ntp

mysql

还有ssh

（以上的这些文件都是笔者在线安装时，得到的文件，这些文件保存在/var/cathe/apt/archives文件夹里面）

注意问题：
1，如果只有一台机子测试时，需要修改/etc/hosts，把本机ip和主机名加入即可
2，有时候firefox显示会有问题，可以改用chrome即可