spark-shell 连接集群出错。求大神指点

einhep · 发表于 2017-3-12 19:36:41

设置这个试试
spark.network.timeout 800

海滩发红 · 发表于 2017-3-12 19:37:27

einhep 发表于 2017-3-12 19:36
设置这个试试
spark.network.timeout 800

大神可有QQ或者其他联系方式

海滩发红 · 发表于 2017-3-12 19:41:01

einhep 发表于 2017-3-12 19:36
设置这个试试
spark.network.timeout 800

在哪个文件里，或者其他地方进行设置？这学期刚开始学，对spark不了解

海滩发红 · 发表于 2017-3-12 19:43:36

海滩发红发表于 2017-3-12 19:35
可是他会一直重复这个：
17/03/02 12:39:54 WARN netty.NettyRpcEndpointRef: Error sending message [ ...

这学期刚开始学，不清楚在哪里设置这个值，请问实在spark-env.sh中吗

einhep · 发表于 2017-3-12 20:21:50

海滩发红发表于 2017-3-12 19:43
这学期刚开始学，不清楚在哪里设置这个值，请问实在spark-env.sh中吗

spark-defaults.conf中

海滩发红 · 发表于 2017-3-12 20:36:28

einhep 发表于 2017-3-12 20:21
spark-defaults.conf中

#source spark-defaults.conf
bash: spark.network.timeout: command not found
生效不了？

einhep · 发表于 2017-3-12 21:36:24

海滩发红发表于 2017-3-12 20:36
#source spark-defaults.conf
bash: spark.network.timeout: command not found
生效不了？

环境变量是这么生效。配置文件最好重启集群。

海滩发红 · 发表于 2017-3-13 14:14:04

einhep 发表于 2017-3-12 21:36
环境变量是这么生效。配置文件最好重启集群。

环境变量生效了，出现与上面一样的错误。给大神看一下我机器上的环境。……麻烦大神了，万分感谢

海滩发红 · 发表于 2017-3-13 14:15:33

einhep 发表于 2017-3-12 21:36
环境变量是这么生效。配置文件最好重启集群。

根据大神的指点，前后思考了安装时的过程，发现自己没有使用桥接模式，不知是否是这个原因导致的.

海滩发红 · 发表于 2017-3-13 17:03:26

多谢各位大神指点，问题已经解决。谢谢各位，

图文精华