Spark On Yarn 中Executor 内存分配的机制

查看数: 15615 | 评论数: 5 | 收藏 5

关灯 | 提示：支持键盘翻页<-左右->

发布时间: 2018-10-29 20:02

本帖最后由喵十八于 2018-10-29 20:03 编辑问题导读 1. Spark On Yarn 下executor-memory 参数如何生效？ 2. Cluster 和 Client 模式中内存开销的区别？ 3. 规整化因子是什么？关注最新经典文章，欢 ...

苏先森 发表于 2019-2-22 10:37:43

叶孤城发表于 2019-1-24 10:28
你好，后面关于client和cluster模式提交任务的区别每太看懂，每个都分配7G，这个7G是怎么计算得来的？

应该是 6 + 1G 的规整化因子吧

叶孤城 发表于 2019-1-24 10:28:58

你好，后面关于client和cluster模式提交任务的区别每太看懂，每个都分配7G，这个7G是怎么计算得来的？

linux_oracle 发表于 2018-12-3 17:24:03

666666

美丽天空 发表于 2018-10-30 21:58:05

感谢分享

wxsong 发表于 2018-10-30 15:18:55

mark！！！！

图文精华