spark shell启动报内存不足修改设置好像无效

本人用的是最低配置的网络云服务器1核1G内存。

[root@master spark-1.6.2]# spark-shell
Java HotSpot(TM) 64-Bit Server VM warning: INFO: os::commit_memory(0x00000000d5550000, 715849728, 0) failed; error='Cannot allocate memory' (errno=12)
#
# There is insufficient memory for the Java Runtime Environment to continue.
# Native memory allocation (mmap) failed to map 715849728 bytes for committing reserved memory.
# An error report file with more information is saved as:
# /usr/local/spark-1.6.2/hs_err_pid1917.log

设备太渣，求一个极限减小内存消耗的方法

丢丢 发表于 2016-7-21 17:55
设备太渣，求一个极限减小内存消耗的方法

目前还没有见过这么小的内存。
hadoop集群至少2G。
spark是内存计算，要求更高的。

配置参数如下
spark-env.sh
SPARK_LOCAL_IP=10.104.207.106
SPARK_LOCAL_DIRS=/data/spark/local
SPARK_MASTER_IP=10.104.207.106
SPARK_MASTER_WEBUI_PORT=8080
SPARK_WORKER_CORES=1
SPARK_WORKER_MEMORY=200m
SPARK_WORKER_DIR=/data/spark/work
export SPARK_MASTER_OPTS="-Dspark.deploy.defaultCores=1"
export SPARK_WORKER_OPTS="-Dspark.worker.cleanup.enabled=true -Dspark.worker.cleanup.appDataTtl=604800"
export SPARK_HISTORY_OPTS="-Dspark.history.ui.port=18080 -Dspark.history.retainedApplications=3 -Dspark.history.fs.logDirectory=hdfs://systex/user/spark/applicationHistory"

SPARK_LOG_DIR=/data/spark/log

JAVA_HOME=/usr/local/jdk1.8/
export SCALA_HOME=/usr/local/scala/
export HADOOP_HOME=/usr/local/hadoop/lib
export HADOOP_CONF_DIR=/usr/local/hadoop/etc/hadoop/


spark-default.conf
spark.eventLog.enabled  true
spark.eventLog.compress  true
spark.eventLog.dir     hdfs://systex/user/spark/applicationHistory
spark.broadcast.blockSize       8m
spark.executor.cores    1
spark.executor.memory   128m
spark.task.maxFailures  6
spark.serializer        org.apache.spark.serializer.KryoSerializer
spark.kryoserializer.buffer.max         128m
spark.akka.frameSize    128
spark.default.parallelism    20
spark.network.timeout   300s
spark.driver.extraJavaOptions      -XX:PermSize=128m -XX:MaxPermSize=256m

easthome001 发表于 2016-7-21 18:06
目前还没有见过这么小的内存。
hadoop集群至少2G。
spark是内存计算，要求更高的。

之前就是用这个跑hadoop的，用来学习的没问题。只是装不上CDH

丢丢 发表于 2016-7-21 18:11
之前就是用这个跑hadoop的，用来学习的没问题。只是装不上CDH

楼主配置的其实已经都很小了。
其它参数可以在试试，比如
SPARK_WORKER_MEMORY=200m

官网要求是8G，楼主的配置差距大一些

nextuser 发表于 2016-7-21 21:00
楼主配置的其实已经都很小了。
其它参数可以在试试，比如
SPARK_WORKER_MEMORY=200m

我好像配置了没什么用到时再启动spark shell加上内exacute memory和driver memory到是有点用。再问一个问题8G这个配置怎么说都很高了，对于学习者怎么办了？难道都得搞个这么高配的机器吗？

丢丢 发表于 2016-7-21 22:31
我好像配置了没什么用到时再启动spark shell加上内exacute memory和driver memory到是有点用。再问一个问 ...

这个只能自己想办法了。如果买的话，建议购买台式机，价格便宜，笔记本高配置容易坏。
如果想学大数据生态系统，最好16G。
特别是cloudera  8G 勉强。
对于spark 8G，楼主可以到官网看看。