目录
百战程序员,全站22050+开发课程+文档 ,学习精选优质好课快人一步!观看视频 快捷键ALT+N

大数据全系列 教程

1869个小节阅读:465.2k

收藏
全部开发者教程

JAVA全系列 教程

面向对象的程序设计语言

Python全系列 教程

Python3.x版本,未来主流的版本

人工智能 教程

顺势而为,AI创新未来

大厂算法 教程

算法,程序员自我提升必经之路

C++ 教程

一门通用计算机编程语言

微服务 教程

目前业界流行的框架组合

web前端全系列 教程

通向WEB技术世界的钥匙

大数据全系列 教程

站在云端操控万千数据

AIGC全能工具班

A

A A

White Night

阅读(229)
赞(0)

窗口与时间

窗口概述

窗口(window)就是从 Streaming 到 Batch 的一个桥梁。窗口将无界流(unbounded data stream)划分很多有界流(bounded stream),对无界流进行计算。

在Flink流式计算中,最重要的转换就是窗口转换Window,在DataStream转换图中,可以发现处处都可以对DataStream进行窗口Window计算。

Windows计算是流式计算中非常常用的数据计算方式之一,通过按照固定时间或长度将数据流切分成不同的窗口,然后对数据进行相应的聚合运算,从而得到一定时间范围内的统计结果。例如统计最近1分钟内每个基站的呼叫数,此时基站的数据在不断地产生,但是通过1分钟的窗口将数据限定在固定时间范围内,就可以对该范围内的有界数据执行聚合处理,得出最近1分钟的基站的呼叫数量。

Flink Window 窗口的结构中,有两个必须和一个可选的操作:

  1. 窗口分配器(Window Assigner):将数据流中的元素分配到对应的窗口。
  2. 窗口函数(Window Function):当满足窗口触发条件后,对窗口内的数据使用窗口处理函数(Window Function)进行处理,常用的有reduce、aggregate、process
  3. 其它的triggerevictor则是窗口的触发和销毁过程中的附加选项,主要面向需要更多自定义的高级编程者,如果不设置则会使用默认的配置。

  • 上图是窗口的生命周期示意图,假如设置的是一个1分钟的滚动窗口,第一个窗口的起始时间是0:00,结束时间是0:01,后面以此类推。
  • 当数据流中的元素流入后,窗口分配器会根据时间(Event Time或Processing Time)分配给相应的窗口。相应窗口满足了触发条件,比如已经到了窗口的结束时间,会触发相应的Window Function进行计算。

实时效果反馈

1. 以下选项中关于Flink窗口生命周期描述正确的是?

A 窗口分配器(Window Assigner)将数据流中的元素分配到对应的窗口。

B 当满足窗口触发条件后,对窗口内的数据使用窗口处理函数(Window Function)进行 处理,常用的有reduce、aggregate、process

C triggerevictor则是窗口的触发和销毁过程中的附加选项,主要面向需要更多自定义 的高级编程者,如果不设置则会使用默认的配置。

D 以上三个选项都正确。

答案:

1=>D

北京市昌平区回龙观镇南店村综合商业楼2楼226室

©2014-2023 百战卓越(北京)科技有限公司 All Rights Reserved.

京ICP备14032124号-2