分享

pyspark streaming TaskCompletionListenerException: refCnt: 0, decrement: 1

pyspark streaming 消费kafka的时候一直报这个错误,查了好多资料也不知道怎么解决,希望大神帮我看看,非常感谢。

[mw_shl_code=applescript,true]19/12/13 10:30:01 WARN scheduler.TaskSetManager: Lost task 0.0 in stage 9818.0 (TID 209334, slave05, executor 8): org.apache.spark.util.TaskCompletionListenerException: refCnt: 0, decrement: 1
        at org.apache.spark.TaskContextImpl.markTaskCompleted(TaskContextImpl.scala:105)
        at org.apache.spark.scheduler.Task.run(Task.scala:112)
        at org.apache.spark.executor.Executor$TaskRunner.run(Executor.scala:322)
        at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1142)
        at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:617)
        at java.lang.Thread.run(Thread.java:745)

19/12/13 10:42:01 WARN scheduler.TaskSetManager: Lost task 0.0 in stage 9902.0 (TID 210299, slave02, executor 3): org.apache.spark.util.TaskCompletionListenerException: refCnt: 0, decrement: 1
        at org.apache.spark.TaskContextImpl.markTaskCompleted(TaskContextImpl.scala:105)
        at org.apache.spark.scheduler.Task.run(Task.scala:112)
        at org.apache.spark.executor.Executor$TaskRunner.run(Executor.scala:322)
        at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1142)
        at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:617)
        at java.lang.Thread.run(Thread.java:745)

19/12/13 10:48:01 WARN scheduler.TaskSetManager: Lost task 0.0 in stage 9944.0 (TID 210928, slave03, executor 11): org.apache.spark.util.TaskCompletionListenerException: refCnt: 0, decrement: 1
        at org.apache.spark.TaskContextImpl.markTaskCompleted(TaskContextImpl.scala:105)
        at org.apache.spark.scheduler.Task.run(Task.scala:112)
        at org.apache.spark.executor.Executor$TaskRunner.run(Executor.scala:322)
        at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1142)
        at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:617)
        at java.lang.Thread.run(Thread.java:745)[/mw_shl_code]

已有(2)人评论

跳转到指定楼层
s060403072 发表于 2019-12-13 17:59:38
本帖最后由 s060403072 于 2019-12-13 20:13 编辑

首先根据上面错误是很难找到解决办法的。
所以楼主一定要找到有效错误,而且最好多找几处,最后综合分析。

推荐看完这篇文章后,在多提供几个错误。不要一个一个进程或则组件的,一般一个地方有错误,其它地方连带会有报错
程序员必备的分析解决问题能力:案例分享
https://www.aboutyun.com/forum.php?mod=viewthread&tid=27967


回复

使用道具 举报

希孟100 发表于 2019-12-13 18:02:43
s060403072 发表于 2019-12-13 17:59
首先根据上面错误是很难找到问题愿意你的。
所以楼主一定要找到有效错误,而且最好多找几处,最后综合分析 ...

........啥?
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

推荐上一条 /2 下一条