分享

spark之什么窄依赖、宽依赖

NEOGX 2018-5-24 13:16:37 发表于 小知识点 [显示全部楼层] 回帖奖励 阅读模式 关闭右栏 0 5977
窄依赖是指父RDD的每个分区都只被子RDD的一个分区所使用。相应的,宽依赖是指父RDD的分区被多个子RDD的分区所依赖。例如,map就是一种窄依赖,而join则会导致宽依赖。这种依赖关系分类的特性是,首先,窄依赖可以在某个计算节点上直接通过计算父RDD的某块数据,计算得到子RDD对应的某块数据;其次,数据丢失时,对于窄依赖只需要重新计算丢失的那一块数据来恢复。



欢迎加入about云群371358502、39327136,云计算爱好者群

没找到任何评论,期待你打破沉寂

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

推荐上一条 /2 下一条