分享

Storm是否能解决迭代性问题

星语心愿 发表于 2017-12-18 10:04:38 [显示全部楼层] 回帖奖励 阅读模式 关闭右栏 2 4471
机器学习里面的提升(Boosting)问题在在线学习(online learning)上的应用。比如数据一个一个地到来,并通过多个弱学习器进行学习,每一个弱学习器的预测结果都影响下一个弱学习器的学习。问题在于弱学习器的个数是参数可变的(比如adaBoost里面的弱学习个数是参数可变的),串行程序可以通过迭代解决,使用storm做成分布式的该怎么解决呢?

已有(2)人评论

跳转到指定楼层
qcbb001 发表于 2017-12-18 10:32:57
既然它们是先后影响的,可以使用spark,spark一个Job里的Stage都是串行的.

回复

使用道具 举报

qcbb001 发表于 2017-12-18 10:39:31
还可以设置调度为fifo,这样job就是串行了。
探索Spark源码---在Spark中Job是并行执行的还是串行执行的?
http://www.aboutyun.com/forum.php?mod=viewthread&tid=16502


回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

推荐上一条 /2 下一条