图文精华

About云-梭伦科技»专题 › 技术学习(版主发帖区) › 大数据学习 › Cloudera系列 › Cloudera Manager and CDH在线安装及配置
分享

Cloudera Manager and CDH在线安装及配置

howtodown 发表于 2014-8-26 21:50:03 [显示全部楼层] 只看大图 回帖奖励 阅读模式 关闭右栏 4 16313

问题导读：
1.Cloudera Manager安装你认为需要注意哪些问题？
2.Cloudera-manager-installer.bin的作用是什么？
3.如何进入Cloudera Manager Admin控制台？






Cloudera Manager需求：
磁盘空间，最小满足：
------------系统/var分区下有5GB
------------系统/usr分区有500MB
------------系统/opt下面最好多配置点
多数情况下RAM 4GB是比较合适的，如果装了Oracle数据库，就是必须的了。没有Oracle数据库且节点在100个以下的，也是足够的。
通常说来，不推荐使用虚拟机和安装了双系统的主机，这种情况通常导致内存/硬盘不足，导致主机出现状态不良。
1、删除各个主机上自带的JDK
　　查找安装的JDK命令

  1. rpm -qa |grep gcj

  2. rpm -qa |grep jdk

  3. rpm -qa |grep java
复制代码

删除安装的JDK相关的命令，例如:

  1. yum -y remove jdk-1.6.0_31-fcs.x86_64
复制代码


2、配置各个主机上的/etc/hosts
  1. 192.168.1.101   mater

  2. 192.168.1.102   slave1

  3. 192.168.1.103   slave2
复制代码


注意：还要在每个主机上配置好主机 ip localhost 这一项。
3、设置或者关闭防火墙
设置：如果考虑主机的安全性，仅允许Cloudera Manager 使用的自由端口、SSH 22端口等重要的端口通过。
Coudera Manager及CDH的自由端口如下所示：

  1. -A INPUT -m state --state NEW -m tcp -p tcp --dport 22 -j ACCEPT

  2. -A INPUT -m state --state NEW -m tcp -p tcp --dport 80 -j ACCEPT

  3. # free ports for Kerberos

  4. -A INPUT -m state --state NEW -m tcp -p tcp --dport 88 -j ACCEPT

  5. -A INPUT -m state --state NEW -m udp -p udp --dport 88 -j ACCEPT

  6. # free ports for CDH4

  7. -A INPUT -m state --state NEW -m tcp -p tcp --dport 50010 -j ACCEPT

  8. -A INPUT -m state --state NEW -m tcp -p tcp --dport 1004 -j ACCEPT

  9. -A INPUT -m state --state NEW -m tcp -p tcp --dport 50075 -j ACCEPT

  10. -A INPUT -m state --state NEW -m tcp -p tcp --dport 1006 -j ACCEPT

  11. -A INPUT -m state --state NEW -m tcp -p tcp --dport 50020 -j ACCEPT

  12. -A INPUT -m state --state NEW -m tcp -p tcp --dport 8020 -j ACCEPT

  13. -A INPUT -m state --state NEW -m tcp -p tcp --dport 50070 -j ACCEPT

  14. -A INPUT -m state --state NEW -m tcp -p tcp --dport 50470 -j ACCEPT

  15. -A INPUT -m state --state NEW -m tcp -p tcp --dport 50090 -j ACCEPT

  16. -A INPUT -m state --state NEW -m tcp -p tcp --dport 50495 -j ACCEPT

  17. -A INPUT -m state --state NEW -m tcp -p tcp --dport 8021 -j ACCEPT

  18. -A INPUT -m state --state NEW -m tcp -p tcp --dport 50030 -j ACCEPT

  19. -A INPUT -m state --state NEW -m tcp -p tcp --dport 9290 -j ACCEPT

  20. -A INPUT -m state --state NEW -m tcp -p tcp --dport 50060 -j ACCEPT

  21. -A INPUT -m state --state NEW -m tcp -p tcp --dport 0 -j ACCEPT

  22. -A INPUT -m state --state NEW -m tcp -p tcp --dport 8032 -j ACCEPT

  23. -A INPUT -m state --state NEW -m tcp -p tcp --dport 8030 -j ACCEPT

  24. -A INPUT -m state --state NEW -m tcp -p tcp --dport 8031 -j ACCEPT

  25. -A INPUT -m state --state NEW -m tcp -p tcp --dport 8033 -j ACCEPT

  26. -A INPUT -m state --state NEW -m tcp -p tcp --dport 8088 -j ACCEPT

  27. -A INPUT -m state --state NEW -m tcp -p tcp --dport 8040 -j ACCEPT

  28. -A INPUT -m state --state NEW -m tcp -p tcp --dport 8042 -j ACCEPT

  29. -A INPUT -m state --state NEW -m tcp -p tcp --dport 8041 -j ACCEPT

  30. -A INPUT -m state --state NEW -m tcp -p tcp --dport 10020 -j ACCEPT

  31. -A INPUT -m state --state NEW -m tcp -p tcp --dport 19888 -j ACCEPT

  32. -A INPUT -m state --state NEW -m tcp -p tcp --dport 60000 -j ACCEPT

  33. -A INPUT -m state --state NEW -m tcp -p tcp --dport 60010 -j ACCEPT

  34. -A INPUT -m state --state NEW -m tcp -p tcp --dport 60020 -j ACCEPT

  35. -A INPUT -m state --state NEW -m tcp -p tcp --dport 60030 -j ACCEPT

  36. -A INPUT -m state --state NEW -m tcp -p tcp --dport 2888 -j ACCEPT

  37. -A INPUT -m state --state NEW -m tcp -p tcp --dport 3888 -j ACCEPT

  38. -A INPUT -m state --state NEW -m tcp -p tcp --dport 8080 -j ACCEPT

  39. -A INPUT -m state --state NEW -m tcp -p tcp --dport 9090 -j ACCEPT

  40. -A INPUT -m state --state NEW -m tcp -p tcp --dport 9083 -j ACCEPT

  41. -A INPUT -m state --state NEW -m tcp -p tcp --dport 10000 -j ACCEPT

  42. -A INPUT -m state --state NEW -m tcp -p tcp --dport 16000 -j ACCEPT

  43. -A INPUT -m state --state NEW -m tcp -p tcp --dport 2181 -j ACCEPT

  44. -A INPUT -m state --state NEW -m tcp -p tcp --dport 2888 -j ACCEPT

  45. -A INPUT -m state --state NEW -m tcp -p tcp --dport 3888 -j ACCEPT

  46. -A INPUT -m state --state NEW -m tcp -p tcp --dport 3181 -j ACCEPT

  47. -A INPUT -m state --state NEW -m tcp -p tcp --dport 4181 -j ACCEPT

  48. -A INPUT -m state --state NEW -m tcp -p tcp --dport 8019 -j ACCEPT

  49. -A INPUT -m state --state NEW -m tcp -p tcp --dport 8888 -j ACCEPT

  50. -A INPUT -m state --state NEW -m tcp -p tcp --dport 8002 -j ACCEPT

  51. -A INPUT -m state --state NEW -m tcp -p tcp --dport 8003 -j ACCEPT

  52. -A INPUT -m state --state NEW -m tcp -p tcp --dport 11000 -j ACCEPT

  53. -A INPUT -m state --state NEW -m tcp -p tcp --dport 11001 -j ACCEPT

  54. # free ports for CM4

  55. -A INPUT -m state --state NEW -m tcp -p tcp --dport 7180 -j ACCEPT

  56. -A INPUT -m state --state NEW -m tcp -p tcp --dport 7183 -j ACCEPT

  57. -A INPUT -m state --state NEW -m tcp -p tcp --dport 7182 -j ACCEPT

  58. -A INPUT -m state --state NEW -m tcp -p tcp --dport 7432 -j ACCEPT

  59. -A INPUT -m state --state NEW -m tcp -p tcp --dport 9000 -j ACCEPT

  60. -A INPUT -m state --state NEW -m tcp -p tcp --dport 9001 -j ACCEPT

  61. -A INPUT -m state --state NEW -m tcp -p tcp --dport 22000 -j ACCEPT

  62. -A INPUT -m state --state NEW -m tcp -p tcp --dport 21000 -j ACCEPT

  63. -A INPUT -m state --state NEW -m tcp -p tcp --dport 25000 -j ACCEPT

  64. -A INPUT -m state --state NEW -m tcp -p tcp --dport 23000 -j ACCEPT

  65. -A INPUT -m state --state NEW -m tcp -p tcp --dport 25010 -j ACCEPT

  66. -A INPUT -m state --state NEW -m tcp -p tcp --dport 24000 -j ACCEPT
复制代码


一般是将其加入到iptables中，当然也可以选择关闭。
关闭防火墙：
在root下执行下面命令，可以临时关闭防火墙

  1. service iptables stop
复制代码

在root下执行下面命令，可以永久关闭防火墙（即，每次开机都会关闭），但需要重启生效。

  1. chkconfig iptables off

复制代码


4、关闭SELinux：
  1. $ setenforce 0

复制代码


如果需要永久关闭，编辑/etc/selinux/config ，设置SELINUX=disabled
，然后完成安装。如未关闭，则会出现如下错误：
1.png
如果安装过程中，由于某种原因中断，再次安装的时候需要进行清理。
4、更改Cloudera-manager-installer.bin权限，使其可执行
  1. $ chmod u+x cloudera-manager-installer.bin

复制代码
  1.   ./cloudera-manager-installer.bin
复制代码


接着，接受许可协议，按Enter和Next，
安装界面如下所示：
2.png
等待安装完成即可，由于下载的文件较大，网络不好的情况下会出现静止很久的情况，所以要耐心等待。如果一直停留在20%、40%、70%，过来好久都没有变化，这时候需要用Ctrl+C中断安装，执行清理后，重新执行安装命令。
二、启动 Cloudera Manager Admin 控制台
通过Cloudera Manager Admin控制台，可以配置、管理、监控集群上的Hadoop，WEB端的URL地址是：http://myhost.example.com:7180，myhost.example.com是你安装Cloudera-Manager-installer.bin的主机域名，当然用IP也是可以的。例如我的WEB端URL地址就是：http://192.168.1.101:7180 。
通常Cloudera Manager Admin控制台启动不起来有以下可能：
service cloudera-scm-server-db 是否启动
service cloudera-scm-server 是否启动
service httpd 是否启动
3、使用Cloudera Manager自动安装CDH和配置
  注意：扫描IP主机找不到，通常是由于防火墙或者是SELinux的问题
安装可以联网安装，可以创建自己的yum库，然后通过该yum库来安装。
本地yum库的搭建，请参考：
选择从parcel安装，分布式的解压的默认存储在/opt/cloudera/下面。

图1-1

3.png

图1-2

4.png


图2：
5.png


图3（暂时没有，主机验证阶段）：

图4：
6.jpg


图5：
7.jpg


图6：

8.jpg

图7：

9.jpg





关注公众号，获取大数据、人工智能20套、区块链资源5阶段等资源，随时更新，获取最新技术资源
回复

使用道具 举报

自定义广告语

已有(4)人评论

跳转到指定楼层
正序浏览
Victor-Shy 发表于 2014-9-22 11:37:17
楼主这个帖子里的cdh的rpm包是不是应经离线安装好了？那个自定义存储库是怎么配置的呢？？
回复

使用道具 举报

xuanxufeng 发表于 2014-9-22 14:51:48
Victor-Shy 发表于 2014-9-22 11:37
楼主这个帖子里的cdh的rpm包是不是应经离线安装好了？那个自定义存储库是怎么配置的呢？？
CDH可以采用下面，我们换成主机，其实网络的上的又何尝不是主机。所以chd默认路径里是什么，我们把里面的内容，放上相应即可。
271735349362626.png


回复

使用道具 举报

Victor-Shy 发表于 2014-9-24 14:32:16
xuanxufeng 发表于 2014-9-22 14:51
CDH可以采用下面，我们换成主机，其实网络的上的又何尝不是主机。所以chd默认路径里是什么，我们把里面的 ...

那楼主还想请问下这样配置需要建立本地数据源吗？
回复

使用道具 举报

bwboy 发表于 2014-9-29 11:13:19
也算蛮详细的。不错
回复

使用道具 举报

高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

发表新帖
howtodown

版主

关注

  • 666

    主题

  • 1249

    帖子

  • 322

    粉丝

TA的主题
关闭

推荐上一条 /2 下一条

关于我们· 联系我们· 加入我们· 小黑屋· 合作伙伴   

Copyright © 2001-2025 About云-梭伦科技 Powered by Discuz! X3.4 Licensed Discuz Team.

简书 / Smrz 京ICP备2020039040号 Wxb 简书网举报电话：021-34700000