如何利用Spark Streaming实现UV（有状态的）统计

xingoo 发表于 2017-5-9 10:51:36 [显示全部楼层] 回帖奖励

阅读模式关闭右栏 10 33339

xingoo 发表于 2017-6-4 09:53:44

zstu 发表于 2017-6-2 16:59
楼主，你是怎么用checkpoint来计算uv的，可以代码共享一下吗？

这个可以参考Spark官方提供的例子，我这里不方便公布代码：
https://github.com/apache/spark/ ... workWordCount.scala

https://github.com/apache/spark/ ... workWordCount.scala

基本的思路就是：
1 设置检查点
2 getorcreate创建context
3 如果需要保存状态，可以使用mapWithState