目录
百战程序员,全站22050+开发课程+文档 ,学习精选优质好课快人一步!观看视频 快捷键ALT+N

大数据全系列 教程

1869个小节阅读:467.3k

收藏
全部开发者教程

408考研

JAVA全系列 教程

面向对象的程序设计语言

Python全系列 教程

Python3.x版本,未来主流的版本

人工智能 教程

顺势而为,AI创新未来

大厂算法 教程

算法,程序员自我提升必经之路

C++ 教程

一门通用计算机编程语言

微服务 教程

目前业界流行的框架组合

web前端全系列 教程

通向WEB技术世界的钥匙

大数据全系列 教程

站在云端操控万千数据

AIGC全能工具班

A

A A

White Night

阅读(246)
赞(0)

FlinkOnYarnSession实战

  • 在Yarn上启动一个Flink会话,node1上执行以下命令

    参数解释:

    -d:后台执行 -s:每个TaskManager的slot数量 -jm:JobManager的内存(单位MB) -tm:每个TaskManager容器的内存(默认值:MB)

  • 执行提交flink 集群运行yarn的命令后,YarnSessionClusterEntrypoint进程会一直存在

  • 提交flink 集群运行yarn后,提示信息如下

    JobManager Web Interface: http://node4:35651 12-09 12:03:43,460 INFO org.apache.flink.yarn.cli.FlinkYarnSessionCli [] - The Flink YARN session cluster has been started in detached mode. In order to stop Flink gracefully, use the following command: $ echo "stop" | ./bin/yarn-session.sh -id application_1670558416368_0001 If this should not be possible, then you can also kill Flink via YARN's web interface or via:

    $ yarn application -kill application_1670558416368_0001#关闭命令 Note that killing Flink might not clean up all job artifacts and temporary files.

    注意:访问WebUI的http://ip:port 其中ip和port每次都可能不同。

  • 查看RM的WebUI界面

  • 此时,没有任何TaskManager运行在容器Container中,需要等待有Flink Job提交执行时,才运行TaskManager。

  • 使用flink run提交任务

  • 运行后输出:

    (andy,3) (hello,5) (joy,3) (mark,1) (rose,2) (tom,2)

  • 刷新页面:

  • 关闭yarn-session

北京市昌平区回龙观镇南店村综合商业楼2楼226室

©2014-2023 百战卓越(北京)科技有限公司 All Rights Reserved.

京ICP备14032124号-2