大数据全系列 教程
1869个小节阅读:464.9k
目录
JAVA全系列 教程
面向对象的程序设计语言
Python全系列 教程
Python3.x版本,未来主流的版本
人工智能 教程
顺势而为,AI创新未来
大厂算法 教程
算法,程序员自我提升必经之路
C++ 教程
一门通用计算机编程语言
微服务 教程
目前业界流行的框架组合
web前端全系列 教程
通向WEB技术世界的钥匙
大数据全系列 教程
站在云端操控万千数据
AIGC全能工具班
A A
White Night
启动Zookeeper集群(如已启动忽略此步)
启动HDFS集群或Hadoop集群(如已启动忽略此步)
停止当前StandAlone集群(如未启动忽略此步)
xxxxxxxxxx
[root@node1 ~]# cd /opt/spark-3.2.1/sbin/
[root@node1 sbin]# ./stop-all.sh
node1: stopping org.apache.spark.deploy.worker.Worker
node2: stopping org.apache.spark.deploy.worker.Worker
node3: stopping org.apache.spark.deploy.worker.Worker
stopping org.apache.spark.deploy.master.Master
修改spark-env.sh文件
xxxxxxxxxx
[root@node1 ~]# cd /opt/spark-3.2.1/conf/
[root@node1 conf]# vim spark-env.sh
# 注释掉master运行在哪个机器上,否则zk无法动态切换
# export SPARK_MASTER_HOST=node1
# 增加配置
# spark.deploy.recoveryMode 指定基于ZK集群实现的HA模式
# spark.deploy.zookeeper.url指定ZK的连接地址
# spark.deploy.zookeeper.dir指定在Znode节点树注册临时节点的路径
SPARK_DAEMON_JAVA_OPTS="-Dspark.deploy.recoveryMode=ZOOKEEPER -Dspark.deploy.zookeeper.url=node2:2181,node3:2181,node4:2181 -Dspark.deploy.zookeeper.dir=/spark-ha"
分发到node2和node3上
xxxxxxxxxx
[root@node1 conf]# scp spark-env.sh node2:`pwd`
[root@node1 conf]# scp spark-env.sh node3:`pwd`