目录
百战程序员,全站22050+开发课程+文档 ,学习精选优质好课快人一步!观看视频 快捷键ALT+N

大数据全系列 教程

1869个小节阅读:467.5k

收藏
全部开发者教程

408考研

JAVA全系列 教程

面向对象的程序设计语言

Python全系列 教程

Python3.x版本,未来主流的版本

人工智能 教程

顺势而为,AI创新未来

大厂算法 教程

算法,程序员自我提升必经之路

C++ 教程

一门通用计算机编程语言

微服务 教程

目前业界流行的框架组合

web前端全系列 教程

通向WEB技术世界的钥匙

大数据全系列 教程

站在云端操控万千数据

AIGC全能工具班

A

A A

White Night

阅读(367)
赞(0)

概述_PySpark Vs Spark(选学)

概念补充

  1. 类库∶一堆别人写好的代码,你可以导入进行使用。Pandas就是Python的类库,它常用于小规模数据集的处理
  2. 框架∶可以独立运行,并提供编程结构的一种软件产品。Spark就是一个独立的框架,它常用于大规模数据集的处理 无论大小数据集,都有合适的技术栈去处理,选择合适的技术也是很重要。

PySpark和Spark区别

  • PySpark: 是Python的库, 由Spark官方提供,专供Python语言使用, 类似Pandas一样是一个库。
  • Spark: 是一个独立的框架, 包含PySpark的全部功能, 除此之外, Spark框架还包含了对R、Java、Scala语言的支持,功能更全。可以认为是通用Spark。
功能PySparkSpark
底层语言Scala(JVM)Scala(JVM)
上层语言支持PythonPython\Java\Scala\R
集群化\分布式运行支持支持
定位Python库 (客户端)标准框架 (客户端和服务端)
是否可以Daemon运行NoYes
使用场景生产环境集群化运行生产环境集群化运行

实时效果反馈

1. 关于PySpark和Spark区别的相关描述,错误的是:

A PySpark是Python的库, 由Spark官方提供,专供Python语言使用。

B Spark是一个独立的框架, 包含PySpark的全部功能,功能更全。

C Spark框架还包含了对R、Java、 Scala语言的支持,功能更全。

D PySpark包含了对 Java、Scala语言的支持。

答案:

1=>D 专供Python语言使用

北京市昌平区回龙观镇南店村综合商业楼2楼226室

©2014-2023 百战卓越(北京)科技有限公司 All Rights Reserved.

京ICP备14032124号-2