RDD_五大特性1

特性1：RDD是有分区的

RDD的分区是RDD数据存储的最小单位；一个RDD的数据，本质上是拆分成了多个分区。

比如一个RDD中有数据1,2,3,4,5,6，它有3个分区。

代码演示：

xxxxxxxxxx
[root@node1 ~]# startha.sh #如果hadoop集群已经启动忽略此步[root@node1 ~]# spark-shell 
scala> sc.parallelize(List(1,2,3,4,5,6),3).glom().collect()
res0: Array[Array[Int]] = Array(Array(1, 2), Array(3, 4), Array(5, 6))#设置3个分区，数据就分为3部分                   
scala> sc.parallelize(List(1,2,3,4,5,6),4).glom().collect()
res1: Array[Array[Int]] = Array(Array(1), Array(2, 3), Array(4), Array(5, 6))#设置4个分区，数据就分为4部分

1. parallelize():将 List数据序列化成RDD格式，方便 spark 进行运算；
2. glom():显示出RDD被分配到哪个分区节点 （exector） 中进行计算；
3. collect():将RDD格式数据转化成 Array数据，方便数据输出；

实时效果反馈

1. 关于特性1RDD是有分区的描述错误是：

A RDD的分区是RDD数据存储的最小单位；

B RDD可以没有分区。

C 一个RDD的数据，本质上是拆分成了多个分区。

D RDD至少有一个分区。

答案：

1=>B 至少有一个分区。