运行模式_Yarn模式概述

独立部署（Standalone）模式由Spark自身提供计算资源，无需其他框架提供资源管理。这种方式降低了和其他第三方资源框架的耦合性，独立性非常强。

对于企业来说,在已有YARN集群的前提下在单独准备Spark StandAlone集群,对资源的利用就不高. 所以, 在企业中,多数场景下,会将Spark运行到YARN集群中。

所以, 对于Spark On YARN, 无需部署Spark集群, 只要找一台服务器, 充当Spark的客户端, 即可提交任务到YARN集群中运行。

Spark On Yarn的本质?

1. Master角色由YARN的ResourceManager担任
2. Worker角色由YARN的NodeManager担任
3. Driver角色运行在YARN容器内 或 提交任务的客户端进程中真正干活的Executor运行在YARN提供的容器内

Spark On Yarn需要啥?

1. 需要Yarn集群
2. 需要Spark客户端工具, 比如spark-submit, 可以将Spark程序提交到YARN中
3. 需要被提交的代码程序:如org.apache.spark.examples.SparkPi此示例程序,或我们后续自己开发的Spark任务

实时效果反馈

1. 关于Spark On Yarn的本质的描述，正确的是：

A Master角色由YARN的ResourceManager担任

B Worker角色由YARN的NodeManager担任

C Driver角色运行在YARN容器内 或 提交任务的客户端进程中真正干活的Executor运行在YARN提供的容器内

D 以上三个选择均正确

答案：

1=>D