armand 发表于 2017-5-8 13:15
我是使用cdh-5.10-1.6.1版本，使用的是统一管理，1029701632 * 0.6 * 0.9 / 1024 / 1024 = 530.28MB：这 ...

对，这是经典模式的计算方式

问津少年 发表于 2017-5-4 09:40
这个得看你用的哪个版本的Spark，如果是1.6以后的，还得看你选用的内存模型，是静态分配还是统一管理。另 ...

我是使用cdh-5.10-1.6.1版本，使用的是统一管理，1029701632 * 0.6 * 0.9 / 1024 / 1024 = 530.28MB：这个计算方式应该是静态管理的。

感谢分享

armand 发表于 2017-5-3 17:14
我指定的excutor-memory为1G，storage memory 为511M  这是怎么计算出来的

这个得看你用的哪个版本的Spark，如果是1.6以后的，还得看你选用的内存模型，是静态分配还是统一管理。另外还得看你的内存阈值设置。如果按照1.6版本以前的经典内存模型和默认阈值设置，在Executor为1GB的情况下，StorageMemory应为：[backcolor=rgba(102, 128, 153, 0.0745098)]1029701632 * 0.6 * 0.9 / 1024 / 1024 = 530.28MB

Apache Spark 内存管理详解

我指定的excutor-memory为1G，storage memory 为511M  这是怎么计算出来的