分享

关于container内存设置的问题??

kanwei163 发表于 2015-1-10 10:15:38 [显示全部楼层] 回帖奖励 阅读模式 关闭右栏 4 10718
我有一个集群,1个datanode,设置的内存是3G,3CPU (整个集群就是 3G,3CPU),每个container的最小内存是1G,1cpu.

当我运行一个wordcount程序,(App Master container, map container, reduce container),即一个map,一个reduce,

我看后台运行的结果日志是

app master container 申请到的内存是2G,
map是1g

等map运行完毕,reduce继续使用1g

正好运行完毕。

问题是,为啥APP MASter 的container是2G???

我都规定 每个container的最小内存是1G,1cpu 了,按道理说,如果我设置整个集群是2G,2CPU,也能够运行完这个wordcount程序,但是,实际结果是在map任务就卡主了,而app master的container仍然是2G。


所以,我想问下,这个container内存是怎么设置的???


有一篇文章

http://docs.hortonworks.com/HDPD ... t/rpm-chap1-11.html

已有(4)人评论

跳转到指定楼层
langke93 发表于 2015-1-10 11:19:15
楼主,你说

每个container的最小内存是1G,1cpu

这个是通过配置,还是通过计算的方式,我记得应该是通过计算,没有找打相关配置
回复

使用道具 举报

howtodown 发表于 2015-1-10 11:35:03
楼主磁盘多少,可用内存多少。
第二次是因为预留系统内存太少了,导致系统内存不够用,所以卡机了。
回复

使用道具 举报

howtodown 发表于 2015-1-10 11:40:50
这有篇中文版,相信对楼主有帮助。
可以提供相关信息,帮楼主算算
Yarn Container计算和MapReduce的内存配置

回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

推荐上一条 /2 下一条