分享

storm执行过程中出现EndOfStreamException

haorengoodman 发表于 2014-12-17 09:38:52 [显示全部楼层] 回帖奖励 阅读模式 关闭右栏 17 103401
在执行storm过程中出现如下的异常,虽然不影响结果,但是还是求教为什么会出现这样的异常,该怎么解决呢?
9782 [Thread-6-SendThread(localhost:2000)] INFO  org.apache.storm.zookeeper.ClientCnxn - Session establishment complete on server localhost/127.0.0.1:2000, sessionid = 0x14a55e16c96000b, negotiated timeout = 20000
9784 [Thread-6-EventThread] INFO  org.apache.storm.curator.framework.state.ConnectionStateManager - State change: CONNECTED
9784 [Thread-6-EventThread] INFO  backtype.storm.zookeeper - Zookeeper state update: :connected:none
10067 [ProcessThread(sid:0 cport:-1):] INFO  org.apache.storm.zookeeper.server.PrepRequestProcessor - Processed session termination for sessionid: 0x14a55e16c96000a
10071 [Thread-4] INFO  org.apache.storm.zookeeper.ZooKeeper - Session: 0x14a55e16c96000a closed
10071 [Thread-4-EventThread] INFO  org.apache.storm.zookeeper.ClientCnxn - EventThread shut down
10072 [Thread-4] INFO  backtype.storm.utils.StormBoundedExponentialBackoffRetry - The baseSleepTimeMs [1000] the maxSleepTimeMs [30000] the maxRetries [5]
10081 [NIOServerCxn.Factory:0.0.0.0/0.0.0.0:2000] WARN  org.apache.storm.zookeeper.server.NIOServerCnxn - caught end of stream exception
org.apache.storm.zookeeper.server.ServerCnxn$EndOfStreamException: Unable to read additional data from client sessionid 0x14a55e16c96000a, likely client has closed socket
    at org.apache.storm.zookeeper.server.NIOServerCnxn.doIO(NIOServerCnxn.java:228) ~[storm-core-0.9.3.jar:0.9.3]
    at org.apache.storm.zookeeper.server.NIOServerCnxnFactory.run(NIOServerCnxnFactory.java:208) [storm-core-0.9.3.jar:0.9.3]
    at java.lang.Thread.run(Thread.java:745) [na:1.7.0_67]
10082 [NIOServerCxn.Factory:0.0.0.0/0.0.0.0:2000] INFO  org.apache.storm.zookeeper.server.NIOServerCnxn - Closed socket connection for client /0:0:0:0:0:0:0:1:58740 which had sessionid 0x14a55e16c96000a

已有(19)人评论

跳转到指定楼层
bioger_hit 发表于 2014-12-17 13:50:23
zookeeper client session可能失效了,更多内容参考

Zookeeper源码分析之二Session建立

基于ZooKeeper的分布式Session实现
回复

使用道具 举报

haorengoodman 发表于 2014-12-17 14:39:14
bioger_hit 发表于 2014-12-17 13:50
zookeeper client session可能失效了,更多内容参考

Zookeeper源码分析之二Session建立

确实是失效了,而且应该是主动被关闭了。但是现在不知道为什么会被主动关闭掉。
INFO  org.apache.storm.zookeeper.server.PrepRequestProcessor - Processed session termination for sessionid: 0x14a55e16c96000a
10071 [Thread-4] INFO  org.apache.storm.zookeeper.ZooKeeper - Session: 0x14a55e16c96000a closed
我并没有手动的关闭这个session。

回复

使用道具 举报

bioger_hit 发表于 2014-12-17 14:45:43
haorengoodman 发表于 2014-12-17 14:39
确实是失效了,而且应该是主动被关闭了。但是现在不知道为什么会被主动关闭掉。
INFO  org.apache.storm ...

session有一个有效期,并不需要你关闭
回复

使用道具 举报

haorengoodman 发表于 2014-12-17 14:53:24
bioger_hit 发表于 2014-12-17 14:45
session有一个有效期,并不需要你关闭

看上面的日志,确实是被主动关闭的。

有效期应该是 tickTime的两倍,我调整了zoo.cfg 中tickTime的时间(增加到10S),仍然会出现上述的session异常。
回复

使用道具 举报

haorengoodman 发表于 2014-12-17 15:10:37
回复

使用道具 举报

bioger_hit 发表于 2014-12-17 15:36:39
haorengoodman 发表于 2014-12-17 15:10
刚才又试着调整了一下 maxClientCnxns ,还是抛异常
是否安装ntp,不同系统之间的时间是否一致
回复

使用道具 举报

haorengoodman 发表于 2014-12-17 15:47:15
bioger_hit 发表于 2014-12-17 15:36
是否安装ntp,不同系统之间的时间是否一致

嗯,确实没有安装NTP
但是系统时间应该是一致的
因为hadoop和hbase这样的分布式系统,运行是没有问题的

点评

如果存在时间差,session可能会存在这个问题  发表于 2014-12-17 15:55
回复

使用道具 举报

haorengoodman 发表于 2014-12-17 17:12:48
bioger_hit 发表于 2014-12-17 14:45
session有一个有效期,并不需要你关闭

这应该不是 时间不同步造成的

回复

使用道具 举报

desehawk 发表于 2014-12-17 17:55:26
haorengoodman 发表于 2014-12-17 17:12
这应该不是 时间不同步造成的



服务器产生的是
0x14a55e16c96000b

客户端似乎还有以前的session id
0x14a55e16c96000a


回复

使用道具 举报

12下一页
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

推荐上一条 /2 下一条