目录
百战程序员,全站22050+开发课程+文档 ,学习精选优质好课快人一步!观看视频 快捷键ALT+N

大数据全系列 教程

1869个小节阅读:466.8k

收藏
全部开发者教程

408考研

JAVA全系列 教程

面向对象的程序设计语言

Python全系列 教程

Python3.x版本,未来主流的版本

人工智能 教程

顺势而为,AI创新未来

大厂算法 教程

算法,程序员自我提升必经之路

C++ 教程

一门通用计算机编程语言

微服务 教程

目前业界流行的框架组合

web前端全系列 教程

通向WEB技术世界的钥匙

大数据全系列 教程

站在云端操控万千数据

AIGC全能工具班

A

A A

White Night

阅读(307)
赞(0)

内核进阶_Stage划分

阶段划分:按照宽依赖划分不同的DAG阶段,划分依据为从后向前,遇到宽依赖就划分一个阶段,被称为Stage。

实时效果反馈

1. 关于宽窄依赖以及阶段划分的描述,错误的是:

A 所谓的依赖关系,其实就是两个相邻RDD之间的关系。

B 窄依赖表示每一个父(上游)RDD的Partition最多被子(下游)RDD的一个Partition使用。

C 按照宽依赖划分不同的DAG阶段,划分依据为从后向前,遇到窄依赖就划分一个阶段,被称为Stage。

D 宽依赖表示同一个父(上游)RDD的Partition被多个子(下游)RDD的Partition依赖,会引起Shuffle。

2. 下图中的方法中,会形成宽依赖的方法是:

A flatMap

B map

C reduceByKey

D collect

答案:

1=>C 遇到宽依赖划分一个阶段。

2=>C

北京市昌平区回龙观镇南店村综合商业楼2楼226室

©2014-2023 百战卓越(北京)科技有限公司 All Rights Reserved.

京ICP备14032124号-2