大数据全系列 教程
1869个小节阅读:466.8k
目录
408考研
JAVA全系列 教程
面向对象的程序设计语言
Python全系列 教程
Python3.x版本,未来主流的版本
人工智能 教程
顺势而为,AI创新未来
大厂算法 教程
算法,程序员自我提升必经之路
C++ 教程
一门通用计算机编程语言
微服务 教程
目前业界流行的框架组合
web前端全系列 教程
通向WEB技术世界的钥匙
大数据全系列 教程
站在云端操控万千数据
AIGC全能工具班
A A
White Night
阶段划分:按照宽依赖划分不同的DAG阶段,划分依据为从后向前,遇到宽依赖就划分一个阶段,被称为Stage。
实时效果反馈
1. 关于宽窄依赖以及阶段划分的描述,错误的是:
A 所谓的依赖关系,其实就是两个相邻RDD之间的关系。
B 窄依赖表示每一个父(上游)RDD的Partition最多被子(下游)RDD的一个Partition使用。
C 按照宽依赖划分不同的DAG阶段,划分依据为从后向前,遇到窄依赖就划分一个阶段,被称为Stage。
D 宽依赖表示同一个父(上游)RDD的Partition被多个子(下游)RDD的Partition依赖,会引起Shuffle。
2. 下图中的方法中,会形成宽依赖的方法是:
A flatMap
B map
C reduceByKey
D collect
答案:
1=>C 遇到宽依赖划分一个阶段。
2=>C