大数据全系列 教程
1869个小节阅读:468.1k
目录
408考研
JAVA全系列 教程
面向对象的程序设计语言
Python全系列 教程
Python3.x版本,未来主流的版本
人工智能 教程
顺势而为,AI创新未来
大厂算法 教程
算法,程序员自我提升必经之路
C++ 教程
一门通用计算机编程语言
微服务 教程
目前业界流行的框架组合
web前端全系列 教程
通向WEB技术世界的钥匙
大数据全系列 教程
站在云端操控万千数据
AIGC全能工具班
A A
White Night
xxxxxxxxxx
val rowRDD = hRDD.mapPartitions(iterator => {
val newItems = new ArrayBuffer[Row]()
var row: Row = null;
while (iterator.hasNext) {
val result = iterator.next()._2
row = Row.fromSeq(Seq(
Bytes.toString(result.getValue(Bytes.toBytes("f1"), Bytes.toBytes("ORDER_ID"))),
Bytes.toString(result.getValue(Bytes.toBytes("f1"), Bytes.toBytes("CITY_ID"))),
Bytes.toString(result.getValue(Bytes.toBytes("f1"), Bytes.toBytes("STARTING_LNG"))),
Bytes.toString(result.getValue(Bytes.toBytes("f1"), Bytes.toBytes("STARTING_LAT")))))
newItems.+=(row)
}
Iterator(newItems)
}).flatMap(row => row)
xxxxxxxxxx
val fields = Array(
new StructField("ORDER_ID", StringType),
new StructField("CITY_ID", StringType),
new StructField("STARTING_LNG", StringType),
new StructField("STARTING_LAT", StringType)
)
val structType = new StructType(fields)
val order: DataFrame = sparksession.createDataFrame(rowRDD, structType)
xxxxxxxxxx
order.show(10)