运行模式_Standalone执行任务

bin/spark-shell执行

xxxxxxxxxx
[root@node1 ~]# spark-shell --master spark://node1:7077
# --master来连接到集群使用

测试代码：

xxxxxxxxxx
scala> sc.parallelize(Array(2,4,6)).map(_+ 1).collect()
[Stage 0:>                                                  (0 
[Stage 0:===================>                               (1 [Stage 0:=======================================>           (2   res0: Array[Int] = Array(3, 5, 7)
scala>  # ctrl+c 终止退出

bin/spark-submit执行

xxxxxxxxxx
spark-submit --master spark://node1:7077 \
--class org.apache.spark.examples.SparkPi \
/opt/spark-3.2.1/examples/jars/spark-examples_2.12-3.2.1.jar 20
# --master来指定将任务提交到集群运行
[root@node1 ~]# spark-submit --master spark://node1:7077 \
> --class org.apache.spark.examples.SparkPi \
> /opt/spark-3.2.1/examples/jars/spark-examples_2.12-3.2.1.jar 20
Pi is roughly 3.1410715705357855
[root@node1 ~]# 

执行流程

1. Worker不断向Master汇报资源情况
2. Client端提交应用程序
3. Client会向Master请求启动Driver。
4. Master接受请求，在Master节点启动Driver进程。
5. Driver启动后为当前的应用程序申请资源。
6. Master执行有资源的worker，启动Executor
7. Executor注册给Driver
8. Driver端发送task到worker节点上执行,worker将执行情况和执行结果返回给Driver端。

实时效果反馈

1. 以下关于Standalone运行模式的描述，正确的是：

A Worker不断向Master汇报资源情况

B Master接受请求，在Master节点启动Driver进程。

C Driver端发送task到worker节点上执行,worker将执行情况和执行结果返回给Driver端。

D 以上三个选项都正确

答案：

1=>D