请问flink1.11版本如何设置checkpoint的默认保存个数

classic Classic list List threaded Threaded
3 messages Options
Reply | Threaded
Open this post in threaded view
|

请问flink1.11版本如何设置checkpoint的默认保存个数

cxydevelop@163.com
我看官方文档[1]应该是设置state.checkpoints.num-retained , 默认是1, 但是设置了没有效果, 官方说默认是1, 但是我发现好像是10 ,
同时我也设置了其他的属性,比如
execution.checkpointing.externalized-checkpoint-retention: RETAIN_ON_CANCELLATION
是可行,所以我的设置应该没有什么问题


[1]:https://ci.apache.org/projects/flink/flink-docs-stable/dev/stream/state/checkpointing.html#state-checkpoints-num-retained

Reply | Threaded
Open this post in threaded view
|

Re: 请问flink1.11版本如何设置checkpoint的默认保存个数

cxydevelop@163.com
知道问题所在了,那个在配置文件中设置state.checkpoints.num-retained是生效的
在webui,任务checkpoint的history中总是显示10条最新的记录(我以为就是一定是保留了最新的10份数据),
但是其实真正持久化有数据的数目是根据state.checkpoints.num-retained的值



--
Sent from: http://apache-flink.147419.n8.nabble.com/
Reply | Threaded
Open this post in threaded view
|

Re: 请问flink1.11版本如何设置checkpoint的默认保存个数

nobleyd
是的。不过不是bug。flink将webui显示多少history ckpt以及实际保留多少ckpt当作2个配置。
并且,这2配置的大小无关系。
如果webui(20),retain(10)。那么实际webui的后10个ckpt路径是不存在的,不会保留。
反之,webui(10),retain(20)。虽然部分ckpt在ui上不显示,但实际会保留。

2个参数去flink文档都能找到的哈。

[hidden email] <[hidden email]> 于2020年10月26日周一 上午11:34写道:

> 知道问题所在了,那个在配置文件中设置state.checkpoints.num-retained是生效的
> 在webui,任务checkpoint的history中总是显示10条最新的记录(我以为就是一定是保留了最新的10份数据),
> 但是其实真正持久化有数据的数目是根据state.checkpoints.num-retained的值
>
>
>
> --
> Sent from: http://apache-flink.147419.n8.nabble.com/