分享

关于spark streaming的checkpoint

UFO 发表于 2016-3-29 14:46:51 [显示全部楼层] 只看大图 回帖奖励 阅读模式 关闭右栏 2 6028
checkpoint会check两种信息,一种是元数据,一种是需要stateful的数据,元数据只check一次还是每一次check stateful数据时都要check元数据,还有在哪里checkpoint stateful数据,默认是多长时间checkpoint一次
比如我这里该在什么位置 dfgg.png

已有(2)人评论

跳转到指定楼层
atsky123 发表于 2016-3-30 09:20:55

是不是跟这个帖子类似:
Spark Streaming的还原药水——Checkpoint
http://www.aboutyun.com/forum.php?mod=viewthread&tid=17835

这个参数应该是可以配置的
log_checkpoint_interval
设定两次checkpoint之间重做日志块(重做日志块和系统数据块是一样的)数,当重做日志块数量达到设定值的时候将触发checkpoint。

回复

使用道具 举报

UFO 发表于 2016-3-30 11:09:49
atsky123 发表于 2016-3-30 09:20
是不是跟这个帖子类似:
Spark Streaming的还原药水——Checkpoint
http://www.aboutyun.com/forum.php ...

我怎么验证它神秘时候check了,并且check了神秘内容

回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

推荐上一条 /2 下一条