sprakstreaming多个app同时运行资源问题

regan 发表于 2015-12-21 15:51
sparkStreaming是一个准时是的流处理框架，没有达到那么高的实时性，如果你追求实时，storm在这方面比spa ...

论坛又能用微信登录了。
我把多个job同时运行的方式改了一下：
从kafka收到消息后就直接foreachrdd{
   if rdd为空{return}
   else{判断消息是那个job需要处理的就调用那个job的运算逻辑  }
}
这样空跑就很快了。

邓立辉 发表于 2015-12-26 10:33
论坛又能用微信登录了。
我把多个job同时运行的方式改了一下：
从kafka收到消息后就直接foreachrdd{

恩，不錯的方法