大数据全系列 教程
1869个小节阅读:467.9k
目录
408考研
JAVA全系列 教程
面向对象的程序设计语言
Python全系列 教程
Python3.x版本,未来主流的版本
人工智能 教程
顺势而为,AI创新未来
大厂算法 教程
算法,程序员自我提升必经之路
C++ 教程
一门通用计算机编程语言
微服务 教程
目前业界流行的框架组合
web前端全系列 教程
通向WEB技术世界的钥匙
大数据全系列 教程
站在云端操控万千数据
AIGC全能工具班
A A
White Night
可以自定义扁平化规则的扁平化方法。
xxxxxxxxxx
List("a b c", "a a d", "b c d")
//将集合中的每一个元素按照一定的规则进行拆解,拆解后的内容作为原集合的一个元素
List("a", "b", "c", "a", "a", "d", "b", "c", "d")
演示代码:
xxxxxxxxxx
package com.itbaizhan.rdd
//1.导入spark下的SparkConf, SparkContext
import org.apache.spark.rdd.RDD
import org.apache.spark.{SparkConf, SparkContext}
object TransformationFlatMap {
def main(args: Array[String]): Unit = {
//2.构建SparkConf对象,并设置本地运行和程序的名称
val conf = new SparkConf().setMaster("local[*]").setAppName("flagMap")
//3.通过SparkConf对象构建SparkContext对象
val sc = new SparkContext(conf)
//4.创建一个RDD对象
val rdd1: RDD[String] = sc.parallelize(List("a b c", "a a d", "b c d"))
//5.将集合中的每一个元素按照空格进行拆分,拆分后的内容逐一作为一个元素组成一个新的RDD
//val rdd2: RDD[String] = rdd1.flatMap(line=>line.split(" "))
val rdd2: RDD[String] = rdd1.flatMap(_.split(" "))
print(rdd2.collect().mkString(","))
sc.stop()
}
}
实时效果反馈
1. 以下关于flatMap(line=>line.split(" "))
的描述正确的是:
A 将集合中的每一个元素按照空格进行拆解,拆解后的内容逐一作为新RDD的一个元素。
B line
表示原RDD的集合中的一个个元素。
C line.split(" ")
将line按照空格进行拆分。
D 以上三个选项都正确。
答案:
1=>D