搜索
搜 索
本版
文章
帖子
用户
图文精华
hadoop-2.6.0+zookeeper-3.4.6+hbase-1.0.0+hive-1.1.0完全分布 ...
首页
Portal
专题
BBS
面试
办公|编程助手
更多
登录
注册
用户组:游客
主题
帖子
云币
我的帖子
我的收藏
我的好友
我的勋章
设置
退出
导读
淘贴
博客
群组
社区VIP
APP下载
今日排行
本周排行
本周热帖
本月排行
本月热帖
会员排行
About云-梭伦科技
»
专题
›
1分钟小知识
›
小知识分享区
›
Spark
›
小知识点
›
spark之什么窄依赖、宽依赖
0
0
0
分享
spark之什么窄依赖、宽依赖
NEOGX
2018-5-24 13:16:37
发表于
小知识点
[显示全部楼层]
阅读模式
关闭右栏
0
5977
窄依赖是指父RDD的每个分区都只被子RDD的一个分区所使用。相应的,宽依赖是指父RDD的分区被多个子RDD的分区所依赖。例如,map就是一种窄依赖,而join则会导致宽依赖。这种依赖关系分类的特性是,首先,窄依赖可以在某个计算节点上直接通过计算父RDD的某块数据,计算得到子RDD对应的某块数据;其次,数据丢失时,对于窄依赖只需要重新计算丢失的那一块数据来恢复。
欢迎加入about云群371358502、39327136,云计算爱好者群
回复
使用道具
举报
提升卡
置顶卡
沉默卡
喧嚣卡
变色卡
千斤顶
显身卡
没找到任何评论,期待你打破沉寂
高级模式
B
Color
Image
Link
Quote
Code
Smilies
您需要登录后才可以回帖
登录
|
立即注册
本版积分规则
发表回复
回帖后跳转到最后一页
发表新帖
NEOGX
高级会员
关注
67
主题
410
帖子
8
粉丝
TA的主题
spark之什么窄依赖、宽依赖
2018-5-24
Keras快速上手:基于Python的深度学习实战
2018-5-24
收集所有区块链(BlockChain)技术开发相关资料,包括Fabric和Ethereum开发资料
2018-4-3
20+深度学习论文集合
2018-4-3
语音识别开源项目汇总
2018-1-19
24小时热文
kafka面试题精选
Nebula Flink Connector 在实时 ETL 的实践
Apache Doris 用户案例集
国家电网公司主数据管理系统技术规范
企业的主数据建设方法论与实践
关闭
推荐
/2
中文版ChatGPT
1.无需魔法 2.提高编程效率 3.提高文档能力
查看 »
新手帮助
新手帮助:注册遇到问题,领取资源,加入铁粉群,不会使用搜索,如何获取积分等
查看 »
意见
反馈