分享

kafka+SparkStreaming任务不断提交,却一直阻塞,求解答

本帖最后由 星语心愿 于 2018-5-13 18:21 编辑

kafka+SparkStreaming使用direct方式接受数据,首先启动kafka的Producer发送数据,然后启动SparkStreaming,使用 KafkaUtils.createDirectStream 拉取数据并创建 JavaInputDStream。在任务启动后,日志打印如下
2018-05-13_181615.png
任务在不断的提交,查看Spark UI,界面如下
2018-05-13_181748.png
发现第一个任务一直在运行,之后的任务一直在阻塞等待,请问这个是怎么回事?哪里出现了问题

已有(3)人评论

跳转到指定楼层
阿飞 发表于 2018-5-13 21:06:09
以前是否跑过任务,是什么情况。
猜测资源不够了,导致排队。
回复

使用道具 举报

星语心愿 发表于 2018-5-14 08:56:25
阿飞 发表于 2018-5-13 21:06
以前是否跑过任务,是什么情况。
猜测资源不够了,导致排队。

以前跑任务是正常的,昨天再次跑的时候就出现了这种情况
回复

使用道具 举报

langke93 发表于 2018-5-14 09:37:47
星语心愿 发表于 2018-5-14 08:56
以前跑任务是正常的,昨天再次跑的时候就出现了这种情况

如果这样的话,是否有其它任务,是否资源充足。这些都没有问题。就是代码的问题了。
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

推荐上一条 /2 下一条