spark的driver和work的问题

我用spark streaming去读hbase，经常超时，导致driver挂掉，但是work却一直在跑，不退出。而且一直占用很高的cpu。在spark的ui里看我跑的app都已经没了。work应该是野了，不知道一直在跑什么逻辑

einhep · 发表于 2016-5-26 17:14:16

推测应该是程序的问题

dlh · 发表于 2016-5-26 17:25:21

正常情况下，driver挂了。work也会跟着挂掉，work与mastor通信不到了。work应该挂了才对，有没有对应的超时时间

yuwenge · 发表于 2016-5-26 19:38:37

dlh 发表于 2016-5-26 17:25
正常情况下，driver挂了。work也会跟着挂掉，work与mastor通信不到了。work应该挂了才对，有没有对应的超时 ...

用于通信的actor线程数，在大型集群中拥有更多CPU内核的driver可以增加actor线程数

spark.akka.timeout

100

以秒为单位的Spark节点之间超时时间

spark.akka.heartbeat.pauses

600如果一直不停止
楼主可以查看程序中是否有死循环

图文精华

spark的driver和work的问题

已有(3)人评论

推荐 /2