大数据全系列 教程
1869个小节阅读:466.9k
目录
408考研
JAVA全系列 教程
面向对象的程序设计语言
Python全系列 教程
Python3.x版本,未来主流的版本
人工智能 教程
顺势而为,AI创新未来
大厂算法 教程
算法,程序员自我提升必经之路
C++ 教程
一门通用计算机编程语言
微服务 教程
目前业界流行的框架组合
web前端全系列 教程
通向WEB技术世界的钥匙
大数据全系列 教程
站在云端操控万千数据
AIGC全能工具班
A A
White Night
Flink流式计算,提供Checkpoint机制,程序自动将State进行快速快照,然后进行Checkpoint保存。此外,还支持用户可以手动进行快照,保存State数据,称为:SavePoint保存点。
SavePoint保存点由用户手动创建、拥有和删除,用于有计划的、手动的备份和恢复。
类似于虚拟机拍摄的快照:
Savepoint恢复类似于虚拟机的转到快照
功能,用于还原恢复:
Savepoint和Checkpoint区别:
区别点 | Checkpoint | Savepoint |
---|---|---|
别名 | 检查点 | 保存点 |
主要用途 | 在任务发生异常时快速恢复 | 有计划的进行备份 |
触发管理方式 | Flink自动触发并管理 | 用户手动触发并管理 |
特点 | 1.轻量 2.自动从故障中恢复 3.在作业停止后默认清除 | 1.持久 2.手动触发从Savepoint恢复 3.以标准格式存储,允许代码或配置发生改变 |
SavePoint默认保存路径配置方式:
配置文件,全局有效。flink-conf.yaml
xxxxxxxxxx
state.savepoint.dir: hdfs://mycluster/flink/savepoints
Job的代码中配置,当前job有效。
xxxxxxxxxx
env.setDefaultSavepointDir("hdfs://mycluster/flink/savepoints")
创建Savepoint操作命令:
Trigger a Savepoint $ bin/flink savepoint :jobId [:targetDirectory]
Trigger a Savepoint with YARN
$ bin/flink savepoint :jobId [:targetDirectory] -yid :yarnAppId
Stopping a Job with Savepoint
$ bin/flink stop --savepointPath [:targetDirectory] :jobId
使用Savepoint恢复命令:
Resuming from Savepoint
$ bin/flink run -s :savepointPath [:runArgs]