FlinkOnYarn集群部署

Flink on YARN安装配置，此处考虑高可用HA配置。

• 修改所有Hadoop节点的yarn-site.xml，将所有Hadoop节点的yarn-site.xml中的提交应用程序最大尝试次数调为4,这里默认是2次。

  xxxxxxxxxx
  [root@node1 ~]# cd /opt/hadoop-3.1.3/etc/hadoop/
  [root@node1 hadoop]# vim yarn-site.xml 
  

  添加配置：

  xxxxxxxxxx
    <property>
      <name>yarn.resourcemanager.am.max-attempts</name>
      <value>4</value>
    </property>
  

• 分发yarn-site.xml文件到其它三台节点

  xxxxxxxxxx
  [root@node1 hadoop]# scp yarn-site.xml  node2:`pwd`
  [root@node1 hadoop]# scp yarn-site.xml  node3:`pwd`   
  [root@node1 hadoop]# scp yarn-site.xml  node4:`pwd`
  

• 启动hadoop集群，如果修改yarn-site.xml文件前集群已经启动则先关后启。

  xxxxxxxxxx
  [root@node1 hadoop]# cd
  [root@node1 ~]# startha.sh 
  

• node1、node2、node3、node4添加HADOOP_CONF_DIR环境变量,如已存在则忽略。

  xxxxxxxxxx
  [root@node4 ~]# vim /etc/profile
  #添加内容：
  export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
  # 执行生效
  [root@node4 ~]# source /etc/profile
  

• 将安装包上传到node1的/opt/apps下

• 解压压到/opt目录

  xxxxxxxxxx
  [root@node1 ~]# cd /opt/apps
  [root@node1 apps]# tar -zxvf flink-1.14.6-bin-scala_2.12.tgz -C /opt/
  

• 修改文件夹名称

  xxxxxxxxxx
  [root@node1 apps]# cd /opt/
  [root@node1 opt]# mv flink-1.14.6/ flink-yarn
  

• 将Flink依赖Hadoop 框架JAR包上传至/opt/flink-yarn/lib目录

  

• 修改所属用户和用户组

  xxxxxxxxxx
  [root@node1 opt]# ll -R flink-yarn/
  [root@node1 opt]# chown -R root:root flink-yarn/
  [root@node1 opt]# ll -R flink-yarn/
  

• 修改flink-conf.yaml文件

  xxxxxxxxxx
  [root@node1 ~]# vim /opt/flink-yarn/conf/flink-conf.yaml
  

  修改内容如下：

  xxxxxxxxxx
  high-availability: zookeeper
  high-availability.storageDir: hdfs://mycluster/flink/yarn_ha/
  high-availability.zookeeper.quorum: node2:2181,node3:2181,node4:2181
  high-availability.zookeeper.path.root: /flink-yarn-ha
  high-availability.cluster-id: /cluster_yarn_ha
  yarn.application-attempts: 10
  

• 集群所有机器，同步分发Flink 安装包，便于任意机器提交运行Flink Job。

  xxxxxxxxxx
  [root@node1 opt]# scp -r flink-yarn/ root@node2:/opt/
  [root@node1 opt]# scp -r flink-yarn/ root@node3:/opt/
  [root@node1 opt]# scp -r flink-yarn/ root@node4:/opt/
  

• 删除node1上的压缩包

  xxxxxxxxxx
  rm -rf /opt/apps/flink-1.14.6-bin-scala_2.12.tgz