大数据全系列 教程
1869个小节阅读:467.8k
目录
408考研
JAVA全系列 教程
面向对象的程序设计语言
Python全系列 教程
Python3.x版本,未来主流的版本
人工智能 教程
顺势而为,AI创新未来
大厂算法 教程
算法,程序员自我提升必经之路
C++ 教程
一门通用计算机编程语言
微服务 教程
目前业界流行的框架组合
web前端全系列 教程
通向WEB技术世界的钥匙
大数据全系列 教程
站在云端操控万千数据
AIGC全能工具班
A A
White Night
启动node1上日志服务器
xxxxxxxxxx
[root@node1 opt]# start-history-server.sh
启动Spark的Master和Worker进程
xxxxxxxxxx
# start-all.sh由于和hadoop的脚本冲突,故此需要切换对应目录
[root@node1 opt]# cd /opt/spark-3.2.1/sbin/
[root@node1 sbin]# ./start-all.sh
扩展阅读start-all.sh文件内容:
xxxxxxxxxx
[root@node1 sbin]# vim start-all.sh
if [ -z "${SPARK_HOME}" ]; then
export SPARK_HOME="$(cd "`dirname "$0"`"/..; pwd)"
fi
# Load the Spark configuration
. "${SPARK_HOME}/sbin/spark-config.sh"
# Start Master
"${SPARK_HOME}/sbin"/start-master.sh
# Start Workers
"${SPARK_HOME}/sbin"/start-workers.sh
查看Master的WEB UI
默认端口master设置为8080,如果端口被占用, 会顺延到8081 、8082、... 直到申请到端口为止
查看node1、node2、node3角色
xxxxxxxxxx
-----------node1 jps--------------
16626 HistoryServer
15717 DFSZKFailoverController
18794 Jps
17773 Master
17854 Worker
15151 NameNode
15487 JournalNode
-----------node2 jps--------------
17425 NodeManager
16930 NameNode
17268 DFSZKFailoverController
18856 Worker
16825 QuorumPeerMain
17033 DataNode
19819 Jps
17150 JournalNode
-----------node3 jps--------------
15904 ResourceManager
15251 QuorumPeerMain
18485 Jps
15366 DataNode
17464 Worker
15481 JournalNode
16092 NodeManager
扩展命令脚本:
xxxxxxxxxx
# 启动当前机器的master
sbin/start-master.sh
# 启动当前机器的worker
sbin/start-worker.sh
#启动历史日志服务器
start-history-server.sh
# 停止当前机器的master
sbin/stop-master.sh
# 停止当前机器的worker
sbin/stop-worker.sh
#停止历史日志服务器
stop-history-server.sh