flunk - checkpoint

classic Classic list List threaded Threaded
3 messages Options
Reply | Threaded
Open this post in threaded view
|

flunk - checkpoint

郝文强


checkpoint 到底是在什么时间点触发的呢?
我看过官方关于checkpoint的文档,但还是说不清 checkpoint 是什么时候触发的求大佬指点
| |
郝文强
|
|
[hidden email]
|
签名由网易邮箱大师定制

Reply | Threaded
Open this post in threaded view
|

Re: flunk - checkpoint

Congxian Qiu
Hi
   checkpoint 会按照用户设定的周期定期触发, 同时也会收到 minPauseBetweenCheckpoints 以及
maxConcurrentCheckpoints 等参数的控制,具体的可以看一下这个文档[1],
[1]
https://ci.apache.org/projects/flink/flink-docs-release-1.11/dev/stream/state/checkpointing.html#enabling-and-configuring-checkpointing
Best,
Congxian


郝文强 <[hidden email]> 于2020年9月28日周一 上午10:34写道:

>
>
> checkpoint 到底是在什么时间点触发的呢?
> 我看过官方关于checkpoint的文档,但还是说不清 checkpoint 是什么时候触发的求大佬指点
> | |
> 郝文强
> |
> |
> [hidden email]
> |
> 签名由网易邮箱大师定制
>
>
Reply | Threaded
Open this post in threaded view
|

Re:flunk - checkpoint

hailongwang
In reply to this post by 郝文强
Source 算子的Checkpoint 是由 CheckpointCoordinator 周期性触发的(时间周期是自己设置的参数),然后下面的算子等到收到上游所有并发的barrier时,触发自己的Checkpoint(PS:1.11 目前 实现了 unaligned Checkpoint,无需对齐)。当Master 收到所有算子的 Checkpoint 完成后,会 notifyCheckpointComplete。
希望对你有帮助。
祝好。
Hailong Wang





在 2020-09-28 09:34:17,"郝文强" <[hidden email]> 写道:

>
>
>checkpoint 到底是在什么时间点触发的呢?
>我看过官方关于checkpoint的文档,但还是说不清 checkpoint 是什么时候触发的求大佬指点
>| |
>郝文强
>|
>|
>[hidden email]
>|
>签名由网易邮箱大师定制
>