SparkSQL_读写text文件

使用format(“text”)读取文本数据，读取到的DataFrame只会有一个列，列名默认称之为：value。

示例代码：

xxxxxxxxxx
package com.itbaizhan.sql
import org.apache.spark.SparkConf
import org.apache.spark.sql.{DataFrame, SparkSession}
object SSRWText {
  def main(args: Array[String]): Unit = {
    //1.创建配置文件对象
    val conf: SparkConf = new SparkConf()
      .setMaster("local[*]")
      .setAppName("SSRWText")
    //2.创建SparkSession对象
    val spark: SparkSession = SparkSession.builder()
      .config(conf).getOrCreate()
    //4.读取本地text文件，返回DataFrame对象
    /*val df: DataFrame = spark.read.format("text")
      .load("data/sql/student.txt")*/
    val df: DataFrame = spark.read.text("data/sql/student.txt")
    df.printSchema()
    df.show()
    //5.写文件df.write.mode(xx).format(xx).save(path)
    //mode("append")参数的介绍
    //"error" (default)如果文件已经存在则抛出异常/data/sqlout/text already exists.
    //"append":如果存在则追加
    //"overwrite"：如果存在则覆盖
    //"ignore":如果文件存在则忽略
    df.write.mode("append")
      .format("text")
      .save("data/sqlout/text")
    //3.关闭spark
    spark.stop()
  }
}

运算输出结果：

xxxxxxxxxx
root
 |-- data: string (nullable = true)

+----------+
|      data|
+----------+
|  1,tom,22|
| 2,lucy,21|
|3,peter,23|
| 4,john,25|
+----------+

实时效果反馈

1. 关于df.write.mode(arg)参数arg的描述，错误的是：

A "error"(default) 如果文件已经存在则抛出异常。

B "append" 如果文件已经存在则追加。

C "overwrite" 如果文件已经存在则忽略。

D "ignore" 如果文件已经存在则忽略。

答案：

1=>C "overwrite" 如果文件已经存在则覆盖