运行模式_Yarn模式安装

1. 配置时确保在spark-env.sh中(或环境变量配置文件中均可)包含以下配置:

   xxxxxxxxxx
   JAVA_HOME=/usr/java/default
   #HADOOP软件配置文件目录，读取HDFS上文件和运行YARN集群
   HADOOP_CONF_DIR=/opt/hadoop-3.1.3/etc/hadoop
   YARN_CONF_DIR=/opt/hadoop-3.1.3/etc/hadoop
   

2. 修改node1配置文件/opt/hadoop-3.1.3/etc/hadoop/yarn-site.xml

   删除：

   xxxxxxxxxx
   <!-- yarn容器允许分配的最大最小内存 -->
   <property>
     <name>yarn.scheduler.minimum-allocation-mb</name>
     <value>512</value>
   </property>
   <property>
     <name>yarn.scheduler.maximum-allocation-mb</name>
     <value>1024</value>
   </property>
   <!-- yarn容器允许管理的物理内存大小(NN) -->
   <property>
     <name>yarn.nodemanager.resource.memory-mb</name>
     <value>1024</value>
   </property>
   

   确认包含

   xxxxxxxxxx
   <!--是否启动一个线程检查每个任务正使用的物理内存量，如果任务超出分配值，则直接将其杀掉，默认是true -->
   <property>
        <name>yarn.nodemanager.pmem-check-enabled</name>
        <value>false</value>
   </property>
   <!--是否启动一个线程检查每个任务正使用的虚拟内存量，如果任务超出分配值，则直接将其杀掉，默认是true -->
   <property>
        <name>yarn.nodemanager.vmem-check-enabled</name>
        <value>false</value>
   </property>
   

3. 同步配置文件到其它三台虚拟机中

   xxxxxxxxxx
   [root@node1 hadoop]# scp yarn-site.xml  node2:`pwd`
   [root@node1 hadoop]# scp yarn-site.xml  node3:`pwd`
   [root@node1 hadoop]# scp yarn-site.xml  node4:`pwd`
   

4. 重启hadoop集群

xxxxxxxxxx
[root@node1 hadoop]# stopha.sh
[root@node1 hadoop]# startha.sh

由于Spark作业需要Hadoop 的Yarn提供资源的管理，所以使用时一定要将hadoop集群启动起来（除了HDFS集群，还包含Yarn的ResourceManager以及NodeManager等）