qcbb001 发表于 2017-3-12 10:04
SPARK_MASTER_IP如何配置的

spark.env.sh:
export SPARK_DIST_CLASSPATH=$(/usr/local/hadoop/bin/hadoop classpath)
export SPARK_LOCAL_IP="127.0.0.1"
export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.111-1.b15.el6_8.i386
export SPARK_MASTER_IP=192.168.137.128         //master地址
export SCALA_HOME=/usr/lib/scala/scala-2.11.8
export SPARK_WORKER_MEMORY=2g
export HADOOP_CONF_DIR=/usr/local/hadoop/ect/hadoop


hosts:

127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4
::1         localhost localhost.localdomain localhost6 localhost6.localdomain6
192.168.137.128 Master
192.168.137.130 Slave1
192.168.137.129 Slave2

#127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4
#::1         localhost localhost.localdomain localhost6 localhost6.localdomain6
有ZK的情况下需要注掉的

海滩发红 发表于 2017-3-13 17:03
多谢各位大神指点，问题已经解决。谢谢各位，

不是很清楚，我是把env.sh中的本地IP注释了。还有就是要留足给系统运行的内存

多谢各位大神指点，问题已经解决。谢谢各位，

einhep 发表于 2017-3-12 21:36
环境变量是这么生效。配置文件最好重启集群。

根据大神的指点，前后思考了安装时的过程，发现自己没有使用桥接模式，不知是否是这个原因导致的.

海滩发红 发表于 2017-3-12 20:36
#source spark-defaults.conf
bash: spark.network.timeout: command not found
生效不了？

环境变量是这么生效。配置文件最好重启集群。

einhep 发表于 2017-3-12 20:21
spark-defaults.conf中

#source spark-defaults.conf
bash: spark.network.timeout: command not found
生效不了？

海滩发红 发表于 2017-3-12 19:43
这学期刚开始学，不清楚在哪里设置这个值，请问实在spark-env.sh中吗

spark-defaults.conf中

海滩发红 发表于 2017-3-12 19:35
可是他会一直重复这个：
17/03/02 12:39:54 WARN netty.NettyRpcEndpointRef: Error sending message [ ...

这学期刚开始学，不清楚在哪里设置这个值，请问实在spark-env.sh中吗