SparkSQL_DataSet概述

DataSet是分布式数据集合。DataSet是Spark 1.6中添加的一个新抽象，是DataFrame的一个扩展。它提供了RDD的优势（强类型，使用强大的lambda函数的能力）以及Spark SQL优化执行引擎的优点。DataSet也可以使用功能性的转换（操作map，flatMap，filter等等）。DataSet API 在Scala和 Java中可用。Python 不支持 DataSet API。

• DataSet是DataFrame API的一个扩展，是SparkSQL最新的数据抽象。
• 用户友好的API风格，既具有类型安全检查也具有DataFrame的查询优化特性。
• 用样例类来对DataSet中定义数据的结构信息，样例类中每个属性的名称直接映射到DataSet中的字段名称。
• DataSet是强类型的,比如可以有DataSet[Student]，DataSet[Teacher]。
• DataFrame是DataSet的特列，DataFrame=DataSet[Row] ，所以可以通过as方法将DataFrame转换为DataSet。Row是一个类型，跟Student、Teacher这些的类型一样，所有的表结构信息都用Row来表示。获取数据时需要指定顺序。

实时效果反馈

1. 关于DataSet的描述，正确的是：

A DataSet是DataFrame API的一个扩展，是SparkSQL最新的数据抽象。

B DataSet是强类型的,比如可以有DataSet[Student]，DataSet[Teacher]。

C DataFrame是DataSet的特列，DataFrame=DataSet[Row] ，所以可以通过as方法将DataFrame转换为DataSet。

D 以上三个选项都正确。

答案：

1=>D