任务运行几分钟后为什么有几个executors dead状态?

查看数: 16495 | 评论数: 4 | 收藏 0
关灯 | 提示:支持键盘翻页<-左 右->
    组图打开中,请稍候......
发布时间: 2017-9-30 11:19

正文摘要:

--master yarn --deploy-mode client  --driver-memory 8g --executor-memory 8g --executor-cores 5 五个节点,三个datanode,64g内存,每个节点40核cpu 每次任务运行后,总会有 &nb ...

回复

mjjian0 发表于 2017-10-11 10:21:59
sstutu 发表于 2017-9-30 15:37
怎么调的,写出来看下

--driver-memory 4g
--executor-memory 8g
--executor-cores 2
目前上面这个配置是没有dead的

--driver-memory 4g
--executor-memory 8g
--executor-cores 4
这个配置还是会有dead的

sstutu 发表于 2017-9-30 15:37:46
mjjian0 发表于 2017-9-30 14:38
恩,谢啦,这个网上也查到了,但是怎么调都是一样的。

怎么调的,写出来看下
mjjian0 发表于 2017-9-30 14:38:16
sstutu 发表于 2017-9-30 12:57
可能内存不够造成的。可以加大内存或则调整参数
加大excutor-memory的值,减少executor-cores的数量

恩,谢啦,这个网上也查到了,但是怎么调都是一样的。
sstutu 发表于 2017-9-30 12:57:48
可能内存不够造成的。可以加大内存或则调整参数
加大excutor-memory的值,减少executor-cores的数量
关闭

推荐上一条 /2 下一条