CDH5.7.2报错，求助

集群都可以启动起来。但是无法部署客户端配置，只是两个节点HD5和HD6有这个问题。

1. make a link to /usr/java/default

mkdir -p /usr/java

ln -s YOUR_JAVA_HOME /usr/java/default

2. add sudo nopassword to cloudera-scm user

vim /etc/sudoers

-----------------------------------

cloudera-scm    ALL=(ALL)       NOPASSWD: ALL

我安装上述方法也没法解决。

wxzsebastian 发表于 2016-11-30 15:31
难道要重新格式化NameNode？不知道CDH怎么重新格式化

不需要的，楼主参考下面步骤，一一核实下：

1、新加机器环境配置
首先得在新的主机环境中安装JDK，关闭防火墙、修改selinux、NTP时钟与主机同步、修改hosts、与主机配置ssh免密码登录、保证安装好了perl和Python。

2、上传cloudera-manager文件到/opt目录，修改agent配置文件：
vi /opt/cm-5.7.0/etc/cloudera-scm-agent/config.ini
server_host = Master
vim etc/cloudera-scm-agent/config.ini 设置server_host为scm机器
最好从已经运行的slave机器上scp对应的文件夹，不用修改server_host了，但是需要把对应的[/opt/cm-5.7.0/lib/cloudera-scm-agent]下的文件全部删除；同时删除［/opt/cm-5.7.0/log/cloudera-scm-agent］目录下的所有内容。

3、在代理节点添加scm管理用户
useradd --system --home=/opt/cm-5.7.0/run/cloudera-scm-server/ --no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm
home为scm安装路径

4､启动代理服务
/opt/cm-5.0.0/etc/init.d/cloudera-scm-agent start
如启动错误，请查看scm安装路径下log文件夹下cloudera-scm-agent/cloudera-scm-agent.out

5､在主机节点CM管理页面，进行主机添加，服务添加
这时打开scm web管理页面，点击最上面导航 主机 选项即可看到新增加的节点
点击上面的向集群添加新主机即可添加，共5步

5.1､由于已经将cm agent拷贝到各机器并启动了，此处不是通过IP或hostname查找的（即使查出来也无法选择），而是已存在的主机里面选择，选择新加的agent，点继续
5.2､出现下载parcel的界面
此处多多注意不同linux版本要不同的parcel包
5.3､检查主机正确性
5.4､选择主机模板-此处可选择要安装的组件
这一步一定要选择，否则要重新分配角色。
5.5､向集群中添加主机


6､其他调优相关，参照集群首次安装时的情况，如： echo 0> /proc/sys/vm/swappiness

NameNode 内存20G
DataNode 内存8G
一共配了2个NN，7个DN。启动2个DN出现了上述问题。

我按照上述方法也没法解决。

wxzsebastian 发表于 2016-11-30 11:14
1. make a link to /usr/java/default
mkdir -p /usr/java
ln -s YOUR_JAVA_HOME /usr/java/default

失败原因很多，比如权限不足，内存不足，等等原因。
具体到/var/log看下日志、
还有配置是每个节点内存多少，master内存多少。
节点内存至少1.5G，最好2G以上
master需要4G
如果达不到上面的基本要求，可能会出现各种因为内存不足执行失败造成

fylanyu 发表于 2016-11-30 15:04
失败原因很多，比如权限不足，内存不足，等等原因。
具体到/var/log看下日志、
还有配置是每个节点内存 ...

NameNode 内存20G
DataNode 内存8G
一共配了2个NN，7个DN。启动2个DN出现了上述问题。日志里没有找到错误信息。。。集群能可以启动。但就是部署的时候那两个节点就出现问题

wxzsebastian 发表于 2016-11-30 15:15
NameNode 内存20G
DataNode 内存8G
一共配了2个NN，7个DN。启动2个DN出现了上述问题。日志里没有找到错 ...

是一起部署的，还是单独增加两个节点。上面有错误，日志也肯定有错误的。

fylanyu 发表于 2016-11-30 15:26
是一起部署的，还是单独增加两个节点。上面有错误，日志也肯定有错误的。

增加的节点

fylanyu 发表于 2016-11-30 15:26
是一起部署的，还是单独增加两个节点。上面有错误，日志也肯定有错误的。

难道要重新格式化NameNode？不知道CDH怎么重新格式化