运行模式_Yarn Client

Spark On YARN是有两种运行模式:

1. Client模式
2. Cluster模式

这两种模式的区别就是Driver运行的位置。

1. Client模式即:Driver运行在客户端进程中, 比如Driver运行在spark-submit程序的进程中。一般用户开发和测试。
2. Cluster模式即:Driver运行在YARN容器内部, 和ApplicationMaster在同一个容器内。一般用于生产环境。

提交原理图：

流程总结

1. NodeManage不断的向ResourceManager汇报资源的使用情况
2. 提交作业，Driver在任务提交的本地机器上运行
3. Driver启动后会和ResourceManager通讯申请启动ApplicationMaster
4. ResourceManager分配container，在合适的NodeManager上启动AM。
5. AM负责向ResourceManager申请资源启动Executor
6. ResourceManager接到ApplicationMaster的资源申请后会分配container，
7. 然后ApplicationMaster在资源分配指定的NodeManager上启动Executor进程
8. Executor进程启动后会向Driver反向注册，Executor全部注册完成后Driver开始执行main函数,之后执行到Action算子时，触发一个Job，并根据宽依赖开始划分stage，每个stage生成对应的TaskSet。
9. 将task分发到各个Executor上执行，监控这些task，并回收结果。

常用提交命令：

xxxxxxxxxx
spark-submit --master yarn \
--class org.apache.spark.examples.SparkPi \
/opt/spark-3.2.1/examples/jars/spark-examples_2.12-3.2.1.jar 20

或者：

xxxxxxxxxx
spark-submit --master yarn --deploy-mode  client --class org.apache.spark.examples.SparkPi \
/opt/spark-3.2.1/examples/jars/spark-examples_2.12-3.2.1.jar 20