CDH5.7.2报错,求助

查看数: 7884 | 评论数: 7 | 收藏 0
关灯 | 提示:支持键盘翻页<-左 右->
    组图打开中,请稍候......
发布时间: 2016-11-30 11:13

正文摘要:

集群都可以启动起来。但是无法部署客户端配置,只是两个节点HD5和HD6有这个问题。 1. make a link to /usr/java/defaultmkdir -p /usr/javaln -s YOUR_JAVA_HOME /usr/java/default 2. add sudo nopassword ...

回复

fylanyu 发表于 2016-12-1 13:33:45
wxzsebastian 发表于 2016-11-30 15:31
难道要重新格式化NameNode?不知道CDH怎么重新格式化

不需要的,楼主参考下面步骤,一一核实下:

1、新加机器环境配置
首先得在新的主机环境中安装JDK,关闭防火墙、修改selinux、NTP时钟与主机同步、修改hosts、与主机配置ssh免密码登录、保证安装好了perl和Python。

2、上传cloudera-manager文件到/opt目录,修改agent配置文件:
vi /opt/cm-5.7.0/etc/cloudera-scm-agent/config.ini
server_host = Master
vim etc/cloudera-scm-agent/config.ini 设置server_host为scm机器
最好从已经运行的slave机器上scp对应的文件夹,不用修改server_host了,但是需要把对应的[/opt/cm-5.7.0/lib/cloudera-scm-agent]下的文件全部删除;同时删除[/opt/cm-5.7.0/log/cloudera-scm-agent]目录下的所有内容。

3、在代理节点添加scm管理用户
useradd --system --home=/opt/cm-5.7.0/run/cloudera-scm-server/ --no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm
home为scm安装路径

4&#65380;启动代理服务
/opt/cm-5.0.0/etc/init.d/cloudera-scm-agent start
如启动错误,请查看scm安装路径下log文件夹下cloudera-scm-agent/cloudera-scm-agent.out

5&#65380;在主机节点CM管理页面,进行主机添加,服务添加
这时打开scm web管理页面,点击最上面导航 主机 选项即可看到新增加的节点
点击上面的向集群添加新主机即可添加,共5步

5.1&#65380;由于已经将cm agent拷贝到各机器并启动了,此处不是通过IP或hostname查找的(即使查出来也无法选择),而是已存在的主机里面选择,选择新加的agent,点继续
5.2&#65380;出现下载parcel的界面
此处多多注意不同linux版本要不同的parcel包
5.3&#65380;检查主机正确性
5.4&#65380;选择主机模板-此处可选择要安装的组件
这一步一定要选择,否则要重新分配角色。
5.5&#65380;向集群中添加主机


6&#65380;其他调优相关,参照集群首次安装时的情况,如: echo 0> /proc/sys/vm/swappiness


点评

写的很合理,支持,我想问下如何去对cdh4.5进行备份那,如果2个namenode都出问题了,我是不时可以恢复最完整的namenode去保证这个的datanode正常运行那。  发表于 2016-12-1 15:30
wxzsebastian 发表于 2016-11-30 15:31:39
fylanyu 发表于 2016-11-30 15:26
是一起部署的,还是单独增加两个节点。上面有错误,日志也肯定有错误的。

难道要重新格式化NameNode?不知道CDH怎么重新格式化
wxzsebastian 发表于 2016-11-30 15:27:13
fylanyu 发表于 2016-11-30 15:26
是一起部署的,还是单独增加两个节点。上面有错误,日志也肯定有错误的。

增加的节点
fylanyu 发表于 2016-11-30 15:26:19
wxzsebastian 发表于 2016-11-30 15:15
NameNode 内存20G
DataNode 内存8G
一共配了2个NN,7个DN。启动2个DN出现了上述问题。日志里没有找到错 ...

是一起部署的,还是单独增加两个节点。上面有错误,日志也肯定有错误的。
wxzsebastian 发表于 2016-11-30 15:15:49
fylanyu 发表于 2016-11-30 15:04
失败原因很多,比如权限不足,内存不足,等等原因。
具体到/var/log看下日志、
还有配置是每个节点内存 ...

NameNode 内存20G
DataNode 内存8G
一共配了2个NN,7个DN。启动2个DN出现了上述问题。日志里没有找到错误信息。。。集群能可以启动。但就是部署的时候那两个节点就出现问题
fylanyu 发表于 2016-11-30 15:04:44
wxzsebastian 发表于 2016-11-30 11:14
1. make a link to /usr/java/default
mkdir -p /usr/java
ln -s YOUR_JAVA_HOME /usr/java/default

失败原因很多,比如权限不足,内存不足,等等原因。
具体到/var/log看下日志、
还有配置是每个节点内存多少,master内存多少。
节点内存至少1.5G,最好2G以上
master需要4G
如果达不到上面的基本要求,可能会出现各种因为内存不足执行失败造成
wxzsebastian 发表于 2016-11-30 11:14:31
本帖最后由 wxzsebastian 于 2016-11-30 15:16 编辑

NameNode 内存20G
DataNode 内存8G
一共配了2个NN,7个DN。启动2个DN出现了上述问题。

我按照上述方法也没法解决。
关闭

推荐上一条 /2 下一条