分享

Spark Streaming实时更新Mllib中的算法模型

jchubby 发表于 2016-6-2 14:00:49 [显示全部楼层] 回帖奖励 阅读模式 关闭右栏 2 15964
有哥们儿做过这样的事情吗?
自己做实验的时候虽然说可以实现不断的更新模型(每次有新数据进来就加入原数据中作为整体,重新训练模型)
但是效率很低,如果整体数据量非常大的话,每次都要重新加载所有数据来跑
毕竟增量数据可能只占总体数据的一小部分
如何让模型根据这部分增量数据来更新呢,而不是重新使用全部数据?


已有(2)人评论

跳转到指定楼层
easthome001 发表于 2016-6-2 17:16:29

楼主参考这个帖子试试,希望有些帮助
https://www.zhihu.com/question/31319140?sort=created
回复

使用道具 举报

jchubby 发表于 2016-6-2 17:26:50
easthome001 发表于 2016-6-2 17:16
楼主参考这个帖子试试,希望有些帮助
https://www.zhihu.com/question/31319140?sort=created

这个里面也是将增量数据加入原数据之后全部更新的,我想要的效果是只对增量数据对处理训练
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

推荐上一条 /2 下一条