大数据全系列 教程
1869个小节阅读:464.9k
目录
JAVA全系列 教程
面向对象的程序设计语言
Python全系列 教程
Python3.x版本,未来主流的版本
人工智能 教程
顺势而为,AI创新未来
大厂算法 教程
算法,程序员自我提升必经之路
C++ 教程
一门通用计算机编程语言
微服务 教程
目前业界流行的框架组合
web前端全系列 教程
通向WEB技术世界的钥匙
大数据全系列 教程
站在云端操控万千数据
AIGC全能工具班
A A
White Night
本地变量方式:
代码实现:
xxxxxxxxxx
package com.itbaizhan.core
import org.apache.spark.broadcast.Broadcast
import org.apache.spark.rdd.RDD
import org.apache.spark.{SparkConf, SparkContext}
object CoreAccumulator1 {
def main(args: Array[String]): Unit = {
val conf = new SparkConf().setMaster("local[*]").setAppName("Accumulator1")
val sc = new SparkContext(conf)
/*val list: List[Int] = Range(1, 26, 1).toList
//1,2,3,4,5,6,7,8,9,10,11,12,13,14,15,16,17,18,19,20,21,22,23,24,25
println(list.mkString(","))*/
//1.创建一个rdd对象
val rdd: RDD[Int] = sc.parallelize(Range(1, 26, 1).toList, 2)
//2.定义Driver端的变量
var sum:Long = 0
//3.自定义函数
def mapFunc(data:Int): Int ={
sum = sum +1
print(sum+",")
return data
}
val result: Array[Int] = rdd.map(mapFunc).collect()
//换行
println()
println(result.mkString(","))
println("driver sum:"+sum)//0
sc.stop()
}
}