星语心愿 发表于 2017-12-18 10:04:38

Storm是否能解决迭代性问题

机器学习里面的提升(Boosting)问题在在线学习(online learning)上的应用。比如数据一个一个地到来,并通过多个弱学习器进行学习,每一个弱学习器的预测结果都影响下一个弱学习器的学习。问题在于弱学习器的个数是参数可变的(比如adaBoost里面的弱学习个数是参数可变的),串行程序可以通过迭代解决,使用storm做成分布式的该怎么解决呢?

qcbb001 发表于 2017-12-18 10:32:57

既然它们是先后影响的,可以使用spark,spark一个Job里的Stage都是串行的.

qcbb001 发表于 2017-12-18 10:39:31

还可以设置调度为fifo,这样job就是串行了。
探索Spark源码---在Spark中Job是并行执行的还是串行执行的?
http://www.aboutyun.com/forum.php?mod=viewthread&tid=16502


页: [1]
查看完整版本: Storm是否能解决迭代性问题