统计热点数据并预测

业务需求：现有一个用户访问系统数据的数据集，因为系统硬盘承载能力有限，想根据数据集统计出用户访问的热点数据，将热点数据存储到SSD中，并对以后的用户访问数据进行预测，如果是热点数据，则直接放入SSD；非热点数据直接存在硬盘中。
想问一下应该用什么技术解决，spark ml可不可以

这个涉及到机器学习，spark mlib可以的。计算的各个热度指标；采用多元线性回归算法对样本数据进行学习，建立热点预测模型，并根据热点预测模型判断之后的数据是否会成为热点。

厉害了，word哥

nextuser 发表于 2017-6-19 20:58
这个涉及到机器学习，spark mlib可以的。计算的各个热度指标；采用多元线性回归算法对样本数据进行学习，建 ...

我现在这些热度指标为访问时间，访问用户，访问类型等不规整的非数值型数据，是不是要对访问数据进行归一化处理？怎么进行归一化呢？

pandatyut 发表于 2017-11-6 18:27
我现在这些热度指标为访问时间，访问用户，访问类型等不规整的非数值型数据，是不是要对访问数据进行归一 ...

数据归一化有很多种方式。
可以参照：https://github.com/kuncle/kuncle ... C%EF%BC%89.markdown