分享

CDH管理不同硬件配置的机器组成的集群

zhuangmz 发表于 2016-11-18 10:36:20 [显示全部楼层] 只看大图 回帖奖励 阅读模式 关闭右栏 8 17866
在一个集群里,硬件机器不一样。比方说有老机器,有新机器。老机器内存是32G的。
新机器内存是64G的。
那么,怎么配置YARN呢?
yarn.nodemanager.resource.memory-mb 控制本机可分配的最大内存。
如果设成30G,新机器的内存是否就浪费了?
如果设成60G,这个配置对旧机器意味着什么?是否会内存溢出错误?
是否有一个参数,可以按照本机的实际资源,按比例配置的,比如设置最大内存是本机物理资源的90%。
谢谢!





已有(8)人评论

跳转到指定楼层
qcbb001 发表于 2016-11-18 11:07:49
每个客户端都有自己对应的配置文件,楼主是否尝试对客户端单独配置
回复

使用道具 举报

zhuangmz 发表于 2016-11-18 11:16:00
qcbb001 发表于 2016-11-18 11:07
每个客户端都有自己对应的配置文件,楼主是否尝试对客户端单独配置

这个没试过。我的理解是,CDH的配置是通过网页,配置是存储在数据库的。更改了配置,一刷新配置,就会把本地的YARN配置都删除掉了吧?
回复

使用道具 举报

qcbb001 发表于 2016-11-18 11:22:18
zhuangmz 发表于 2016-11-18 11:16
这个没试过。我的理解是,CDH的配置是通过网页,配置是存储在数据库的。更改了配置,一刷新配置,就会把 ...

界面应该是全局性的,主要为了避免麻烦,让你一个个去配置。
至于是数据库,还是脚本实现,这个需要了解下原理。
如果不确定,尝试之前,最好做好备份。
回复

使用道具 举报

zhuangmz 发表于 2016-11-18 11:23:25
qcbb001 发表于 2016-11-18 11:22
界面应该是全局性的,主要为了避免麻烦,让你一个个去配置。
至于是数据库,还是脚本实现,这个需要了解 ...

嗯嗯,谢谢了
回复

使用道具 举报

grinsky 发表于 2016-11-18 17:51:32
本帖最后由 grinsky 于 2016-11-18 17:52 编辑

你在主页选择yarn 然后点配置 进去是更改全局设置。
在主页选择主机 所有主机,然后点按你需要更改的主机,
1.png    2.png
在到下面的角色中选择要改的服务,然后点配置,就可以更改这一台主机的改服务的配置了。
3.png 4.png

回复

使用道具 举报

zhuangmz 发表于 2016-11-18 22:20:30
grinsky 发表于 2016-11-18 17:51
你在主页选择yarn 然后点配置 进去是更改全局设置。
在主页选择主机 所有主机,然后点按你需要更改的主机 ...

太谢谢你了,这样就可以达到定制某一台主机的作用了。还有一个小问题,在本机修改成了30G,重启后生效。
如果过一段时间,再次在YARN主页那里的配置修改成60G,会影响到这台主机吗?


回复

使用道具 举报

grinsky 发表于 2016-11-20 11:10:34
zhuangmz 发表于 2016-11-18 22:20
太谢谢你了,这样就可以达到定制某一台主机的作用了。还有一个小问题,在本机修改成了30G,重启后生效。
...

不会,单独设置后,在全局的配置里会单独列出来,有不同的配置组也会列出来,此时可以对列出来的配置组或单独的主机进行更改。
1.png

回复

使用道具 举报

zhuangmz 发表于 2016-11-20 11:48:04
grinsky 发表于 2016-11-20 11:10
不会,单独设置后,在全局的配置里会单独列出来,有不同的配置组也会列出来,此时可以对列出来的配置组或 ...

是的,我看到了,会把那台机器单独列出来
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

推荐上一条 /2 下一条