SparkSQL_数据抽象

三者的相同点

1. RDD、DataFrame、DataSet全都是Spark平台下的分布式弹性数据集，为处理超大型数据提供便利;
2. 它们都有partition的概念;
3. 它们有许多共同的函数，如filter，map等;
4. 三者都有惰性机制，在进行创建、转换，如map方法时，不会立即执行，只有在遇到Action算子时，才会开始执行运算;
5. 三者都会根据 Spark 的内存情况自动缓存运算，这样即使数据量很大，也不用担心会内存溢出;
6. 在对DataFrame和Dataset进行操作时，许多操作都需要这个包:import spark.implicits._,在创建好SparkSession对象后尽量直接导入。
7. DataFrame和DataSet均可使用模式匹配获取各个字段的值和类型

三者不同点：

1. SparkCore - RDD
2. Spark1.0
3. 无标准数据结构，存储什么数据均可
4. 一般和Spark Mllib同时使用
5. 不支持SparkSql操作
6. SparkSQL - DataFrame
7. Spark1.3
8. 二维表数据结构
9. DataFrame每一行的类型固定为Row，每一列的值没法直接访问，只有通过解析才能获取各个字段的值
10. DataFrame其实就是DataSet的一个特例 type DataFrame = Dataset[Row]
11. 支持SparkSql操作
12. SparkSQL -DataSet
13. Spark1.6
14. Dataset中，每一行是什么类型是不一定的，在自定义了case class之后可以很自由的获得每一行的信息。
15. 支持SparkSql操作

扩展:

1. SparkSQL 其实有3类数据抽象对象 • SchemaRDD对象（已废弃） • DataSet对象：可用于Java、Scala语言。最早16年 • DataFrame对象：可用于Java、Scala、Python、R。最早15年

2. Spark2.0版本，将DataFrame和DataSet进行合并。其底层均是DataSet对象

实时效果反馈

1.以下选项中哪个不是SparkSQL的数据抽象是：

A RDD

B DataSet

C DataFrame

答案：

1=>A