spark配置ha（用zookeeper）

我用spark1.5.2配置ha，用的是zookeeper3.4.8的版本，安装官网的文档配置如下：
export SPARK_DAEMON_JAVA_OPTS="-Dspark.deploy.recoveryMode=ZOOKEEPER -Dspark.deploy.zookeeper.url=hadoopspark01:2181,hadoopspark02:2181,hadoopspark03:2181,hadoopspark04:2181,hadoopspark05:218
1 -Dspark.deploy.zookeeper.dir=/spark"

spark集群启动正常，可以做主备切换时，所有的worker进程都挂了，备用的master节点可以切换成功。
zookeeper会报如下：
2016-05-17 14:31:47,987 [myid:3] - WARN  [NIOServerCxn.Factory:0.0.0.0/0.0.0.0:2181:NIOServerCnxn@357] - caught end of stream exception
EndOfStreamException: Unable to read additional data from client sessionid 0x354bc71124d0005, likely client has closed socket
    at org.apache.zookeeper.server.NIOServerCnxn.doIO(NIOServerCnxn.java:230)
    at org.apache.zookeeper.server.NIOServerCnxnFactory.run(NIOServerCnxnFactory.java:203)
    at java.lang.Thread.run(Thread.java:745)

请大神帮忙看看，是什么原因？

被切换的节点核实下面内容：

禁用IPV6，将/etc/hosts文件里面的：：1 localhost那一行删掉重启

[grid@rac1 ~]$ cat /etc/hosts

127.0.0.1 localhost.localdomain localhost

# ::1 localhost6.localdomain6 localhosti6

个人认为主要核实正在运行的节点与原先节点有什么区别

nextuser 发表于 2016-5-17 17:21
被切换的节点核实下面内容：

禁用IPV6，将/etc/hosts文件里面的：：1 localhost那一行删掉重启

你的服务器应该是oracle 的rac吧？

nextuser 发表于 2016-5-17 17:25
个人认为主要核实正在运行的节点与原先节点有什么区别

两个节点是完全一样的

nextuser 发表于 2016-5-17 17:21
被切换的节点核实下面内容：

禁用IPV6，将/etc/hosts文件里面的：：1 localhost那一行删掉重启

ipv6禁了还是不行

[myid:3] 为3的节点看看，是不是myid的问题

nextuser 发表于 2016-5-17 22:03
[myid:3] 为3的节点看看，是不是myid的问题

只要我把主机的master进程杀了，三个worker节点的worker进程也挂了，然后那台备机变成alive。现在找不出原因，网上的资料也不多。

楼主说下两个master都是如何配置的

NEOGX 发表于 2016-5-18 16:20
楼主说下两个master都是如何配置的

export JAVA_HOME=/usr/local/java/jdk1.7.0_79
export SCALA_HOME=/usr/local/scala/scala-2.10.6
export HADOOP_HOME=/work/hadoop
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
SPARK_LOCAL_DIR="/work/spark/tmp"
export SPARK_DAEMON_JAVA_OPTS="-Dspark.deploy.recoveryMode=ZOOKEEPER -Dspark.deploy.zookeeper.url=hadoopspark01:2181,hadoopspark02:2181,hadoopspark03:2181 -Dspark.deploy.zookeeper.dir=/spark"
export SPARK_WORKER_MEMORY=8g
export SPARK_WORKER_INSTANCES=1