NEOGX 发表于 2018-5-24 13:16:37

spark之什么窄依赖、宽依赖

窄依赖是指父RDD的每个分区都只被子RDD的一个分区所使用。相应的，宽依赖是指父RDD的分区被多个子RDD的分区所依赖。例如，map就是一种窄依赖，而join则会导致宽依赖。这种依赖关系分类的特性是，首先，窄依赖可以在某个计算节点上直接通过计算父RDD的某块数据，计算得到子RDD对应的某块数据；其次，数据丢失时，对于窄依赖只需要重新计算丢失的那一块数据来恢复。



页: [1]
查看完整版本: spark之什么窄依赖、宽依赖