大数据全系列 教程
1869个小节阅读:467.3k
目录
408考研
JAVA全系列 教程
面向对象的程序设计语言
Python全系列 教程
Python3.x版本,未来主流的版本
人工智能 教程
顺势而为,AI创新未来
大厂算法 教程
算法,程序员自我提升必经之路
C++ 教程
一门通用计算机编程语言
微服务 教程
目前业界流行的框架组合
web前端全系列 教程
通向WEB技术世界的钥匙
大数据全系列 教程
站在云端操控万千数据
AIGC全能工具班
A A
White Night
在Yarn上启动一个Flink会话,node1
上执行以下命令
xxxxxxxxxx
[root@node1 ~]# /opt/flink-yarn/bin/yarn-session.sh -d -jm 1024 -tm 1024 -s 2
参数解释:
-d:后台执行 -s:每个TaskManager的slot数量 -jm:JobManager的内存(单位MB) -tm:每个TaskManager容器的内存(默认值:MB)
执行提交flink 集群运行yarn的命令后,YarnSessionClusterEntrypoint进程会一直存在
提交flink 集群运行yarn后,提示信息如下
JobManager Web Interface: http://node4:35651 12-09 12:03:43,460 INFO org.apache.flink.yarn.cli.FlinkYarnSessionCli [] - The Flink YARN session cluster has been started in detached mode. In order to stop Flink gracefully, use the following command: $ echo "stop" | ./bin/yarn-session.sh -id application_1670558416368_0001 If this should not be possible, then you can also kill Flink via YARN's web interface or via:
$ yarn application -kill application_1670558416368_0001#关闭命令 Note that killing Flink might not clean up all job artifacts and temporary files.
注意:访问WebUI的http://ip:port 其中ip和port每次都可能不同。
查看RM的WebUI界面
此时,没有任何TaskManager运行在容器Container中,需要等待有Flink Job提交执行时,才运行TaskManager。
使用flink run
提交任务
xxxxxxxxxx
/opt/flink-yarn/bin/flink run \
-t yarn-session \
-Dyarn.application.id=application_1670558416368_0001 \
/opt/flink-yarn/examples/batch/WordCount.jar \
--input hdfs://mycluster/wordcount/input/words
运行后输出:
(andy,3) (hello,5) (joy,3) (mark,1) (rose,2) (tom,2)
刷新页面:
关闭yarn-session
xxxxxxxxxx
#优雅 停止应用,如果设置重启次数,即使停止应用,也会重启,一直到超过次数以后,才能真正停止应用
echo "stop" | /opt/flink-yarn/bin/yarn-session.sh -id application_1670558416368_0001
#直接将运行在yarn应用杀死,毫不留情
yarn application -kill application_1670558416368_0001