Spark Streaming日志分析思考、选择方案及部分代码实现

查看数: 21977 | 评论数: 3 | 收藏 3

关灯 | 提示：支持键盘翻页<-左右->

发布时间: 2017-4-22 17:59

问题导读： 1.Spark Streaming 与 Storm 对适用场景分别是什么？2.怎样自定义 Partitioner 以实现日志文件快速存储到HDFS？3.Spark Streaming 如何保证数据的完整性，不丢，不重？业务场景具 ...

chengruo 发表于 2017-7-3 10:13:42

请问streaming如果判断相同ip的日志一天只记录一次，除了使用有状态装换譬如upstatebykey来记住该日志出现过，还有其他方式么，感觉这种方式消耗太大，谢谢

美丽天空 发表于 2017-4-24 12:37:49

感谢分享

地球仪 发表于 2017-4-24 09:19:40

spark Streaming日志分析

图文精华