大数据全系列 教程
1869个小节阅读:467.1k
目录
408考研
JAVA全系列 教程
面向对象的程序设计语言
Python全系列 教程
Python3.x版本,未来主流的版本
人工智能 教程
顺势而为,AI创新未来
大厂算法 教程
算法,程序员自我提升必经之路
C++ 教程
一门通用计算机编程语言
微服务 教程
目前业界流行的框架组合
web前端全系列 教程
通向WEB技术世界的钥匙
大数据全系列 教程
站在云端操控万千数据
AIGC全能工具班
A A
White Night
Client客户端
客户端负责将任务提交到集群,与JobManager
构建连接,然后将任务提交到JobManager
,通过和JobManager
之间进行交互获取任务执行状态。客户端提交任务可以采用CLI方式或者通过使用Flink WebUI提交。
JobManager
JobManager
负责整个Flink集群任务的调度以及资源的管理,从客户端中获取提交的应用,然后根据集群中TaskManager
上Task Slot
的使用情况,为提交的应用分配相应的TaskSlots
资源,并命令TaskManger
启动从客户端中获取的应用。JobManager
相当于整个集群的Master
节点,且整个集群中有且仅有一个活跃的JobManager
,负责整个集群的任务管理和资源管理。JobManager
和TaskManager
之间通过Actor System
进行通信,获取任务执行的情况并通过Actor System
将应用的任务执行情况发送给客户端。同时在任务执行过程中,JobManager
会触发Checkpoints
操作,每个TaskManager
节点收到Checkpoint
触发指令后,完成Checkpoint
操作,所有的Checkpoint
协调过程都是在JobManager
中完成。当任务完成后,Flink会将任务执行的信息反馈给客户端,并且释放掉TaskManager
中的资源以供下一次提交任务使用。
TaskManager
TaskManager
相当于整个集群的Worker
节点,负责具体的任务执行和对应任务在每个节点上的资源申请与管理。客户端通过将编写好的Flink应用编译打包,提交到JobManager
,然后JobManager
会根据已经注册在JobManager
中TaskManager
的资源情况,将任务分配给有资源的TaskManager
节点,然后启动并运行任务。TaskManager
从JobManager
接收需要部署的任务,然后使用Slot
资源启动Task
,建立数据接入的网络连接,接收数据并开始数据处理。同时TaskManager
之间的数据交互都是通过数据流的方式进行的。
实时效果反馈
1. 以下选项中关于Flink Standalone集群架构的角色描述正确的是?
A JobManager
也称主节点Master,为每个Job分配资源,管理和监控Job运行。
B TaskManager
从节点Worker
,调度每个Job中Task任务执行,及负责Task监控和容错等。
C Client
客户端负责与JobManager
构建连接,提交任务,获取任务执行状态。
D 以上三个选项都正确。
答案:
1=>D