目录
百战程序员,全站22050+开发课程+文档 ,学习精选优质好课快人一步!观看视频 快捷键ALT+N

大数据全系列 教程

1869个小节阅读:464.9k

收藏
全部开发者教程

JAVA全系列 教程

面向对象的程序设计语言

Python全系列 教程

Python3.x版本,未来主流的版本

人工智能 教程

顺势而为,AI创新未来

大厂算法 教程

算法,程序员自我提升必经之路

C++ 教程

一门通用计算机编程语言

微服务 教程

目前业界流行的框架组合

web前端全系列 教程

通向WEB技术世界的钥匙

大数据全系列 教程

站在云端操控万千数据

AIGC全能工具班

A

A A

White Night

阅读(172)
赞(0)

状态分类

在Flink中,按照基本类型划分State分类:==Keyed State 和 Operator State==。

  • 每个Operator算子都可以有状态OperatorState(算子状态)
  • keyBy分组后的KeyedStream在sum求和过程中使用KeyedState(键控状态)

OperatorState(算子状态)

  1. 又称为 non-keyed state,每一个OperatorState都仅与一个 operator 的实例(1个SubTask任务)绑定。
  2. 可以用在所有算子上,每个算子子任务或者说每个算子实例共享一个状态,流入这个算子子任务的数据可以对当前状态进行访问与更新。
  3. 常见的OperatorState是数据源source state,例如记录当前 source 读取kafka的 offset。
  4. 存储数据结构:ListState或BroadcastState等。

Keyed State:键控状态

  1. 基于KeyedStream上的状态,是跟特定的key绑定的,对KeyedStream流上的每一个key,都对应一个state
  2. 只能应用于 KeyedStream 的函数与操作中;
  3. 存储数据结构:ValueState、ListState、MapState、ReducingState和AggregatingState

两种类型状态KeyedStateOperatorState区别如下:

区别点KeyedStateOperatorState
算子只能在KeyedStream类型的算子中所有的算子,常用与source算子(FlinkKafkaConsumer)
对应关系每个key分别对应一个State一个Operator算子实例对应一个State
并发改变并发改变,State随着Key在实例间迁移并发改变时有多钟重新分配方式:均匀分配、合并后每个得到全量
访问方式通过RuntimeContext对象访问实现CheckpointedFunction或ListCheckpointed接口
数据结构ValueState ListState MapState
ReducingState AggregatingState
ListState

实时效果反馈

1. 以下选项中关于Flink状态KeyedState的描述错误的是?

A 只能在KeyedStream类型的算子中使用。

B 多个key对应一个State。

C 通过RuntimeContext对象访问。

D 存储的数据结构类:ValueState、ListState MapState、ReducingState、AggregatingState。

答案:

1=>B 每个key分别对应一个State。

 

北京市昌平区回龙观镇南店村综合商业楼2楼226室

©2014-2023 百战卓越(北京)科技有限公司 All Rights Reserved.

京ICP备14032124号-2