大数据全系列 教程
1869个小节阅读:466.8k
目录
408考研
JAVA全系列 教程
面向对象的程序设计语言
Python全系列 教程
Python3.x版本,未来主流的版本
人工智能 教程
顺势而为,AI创新未来
大厂算法 教程
算法,程序员自我提升必经之路
C++ 教程
一门通用计算机编程语言
微服务 教程
目前业界流行的框架组合
web前端全系列 教程
通向WEB技术世界的钥匙
大数据全系列 教程
站在云端操控万千数据
AIGC全能工具班
A A
White Night
xxxxxxxxxx
package com.itbaizhan.streaming
import org.apache.spark.SparkConf
import org.apache.spark.rdd.RDD
import org.apache.spark.streaming.dstream.{DStream, ReceiverInputDStream}
import org.apache.spark.streaming.{Seconds, StreamingContext}
object TransformDemo {
def main(args: Array[String]): Unit = {
//1.初始化SparkConf类的对象
val conf: SparkConf = new SparkConf()
.setMaster("local[2]")
.setAppName("TransformDemo")
//2.创建StreamingContext对象
val ssc = new StreamingContext(conf, Seconds(5))
//3.通过监控node1的9999端口创建DStream对象
val lines: ReceiverInputDStream[String] =
ssc.socketTextStream("node1", 9999)
/**transform:可以获取当前DStream对象中的RDD对象,
* 对RDD对象使用RDD的转换算子,需要返回一个RDD对象。
* 返回的RDD对象被封装到DStream中。
*/
val result: DStream[(String, Int)] = lines.transform(rdd => {
println("****************")
val rdd1: RDD[(String, Int)] = rdd.map(line => (line, 1))
rdd1
})
result.count().print()
//启动
ssc.start()
//等待执行停止
ssc.awaitTermination()
}
}