如何解决spark内存溢出问题

查看数: 14909 | 评论数: 2 | 收藏 0

关灯 | 提示：支持键盘翻页<-左右->

发布时间: 2016-8-5 19:48

集群信息如下：处理了3个txt文件，总大小1.3G左右，想做一个统计关键词出现的次数，在触发shuffle操作时内存溢出在spark-shell命令下执行，有6个worker每个分配2G内存以下是执行过程，我想问的是这 ...

AgateCrosner 发表于 2016-8-7 09:02:41

nextuser 发表于 2016-8-5 20:11
内存看样是够的。
jvm和memory配置可以贴出来看下。
jvm不要超过memory的配置

您好，您说的jvm和memory配置指的是什么？我是按照官方文档配置的standalong模式，spark-env.sh文件只配置了master的host

nextuser 发表于 2016-8-5 20:11:46

内存看样是够的。
jvm和memory配置可以贴出来看下。
jvm不要超过memory的配置
应该就不会溢出了

图文精华