分享

Flink checkpoint机制 barrier的理解【VIP探讨问题记录】

阿飞 发表于 2019-11-27 14:25:12 [显示全部楼层] 只看大图 回帖奖励 阅读模式 关闭右栏 0 983


这里给咱们成员讨论的问题:
分散式快照,觉得应该是做了一种标记,标记这些数据都属于barrier n

如果是插入barrier的话,当并行度为2的话,是怎么做到两个barrier n的?
1.jpg


对于barrier 其实可以视其为一条记录。

为何在数据源处会有两个barrier n,而不是一个。

source也有并行度,比如数据库是数据源,它并不会在数据源处加标记,而是在读取的时候加标记,读取的时候,因为已经设置了并行度。所以会有2个barrier

也就是会在source task里加标记

没找到任何评论,期待你打破沉寂

关闭

推荐上一条 /2 下一条