checkpoint持久化问题

[chen310]

问题：
flink sql中设置了job挂掉后checkpoint保留

execution.checkpointing.externalized-checkpoint-retention
RETAIN_ON_CANCELLATION

并且配置了checkpoint保存到hdfs上

state.backend rocksdb

#增量checkpoint
#state.backend.incremental true
state.checkpoints.dir hdfs:///tmp/flink/checkpoint

flink实际也做了checkpoint，但是用这个路径去hdfs上查询，并不存在对应的路径的目录，好像并不是每次做checkpoint都会持久化到hdfs上，这个是要做啥配置么？让每次checkpoint都保存到磁盘

<http://apache-flink.147419.n8.nabble.com/file/t572/4C10EE51C7A01D45B9278BE2D2CD6C10.jpg>



--
Sent from: http://apache-flink.147419.n8.nabble.com/

[Yun Tang]

Hi

既然UI上已经显示成功了，一定是成功且成功保存到HDFS上了，可以看下父目录的情况，chk-x 目录可能随着新的checkpoint完成而被删除

祝好
唐云
________________________________
From: chen310 <[hidden email]>
Sent: Friday, December 25, 2020 16:01
To: [hidden email] <[hidden email]>
Subject: checkpoint持久化问题

问题：
flink sql中设置了job挂掉后checkpoint保留

execution.checkpointing.externalized-checkpoint-retention
RETAIN_ON_CANCELLATION

并且配置了checkpoint保存到hdfs上

state.backend rocksdb

#增量checkpoint
#state.backend.incremental true
state.checkpoints.dir hdfs:///tmp/flink/checkpoint

flink实际也做了checkpoint，但是用这个路径去hdfs上查询，并不存在对应的路径的目录，好像并不是每次做checkpoint都会持久化到hdfs上，这个是要做啥配置么？让每次checkpoint都保存到磁盘

<http://apache-flink.147419.n8.nabble.com/file/t572/4C10EE51C7A01D45B9278BE2D2CD6C10.jpg>



--
Sent from: http://apache-flink.147419.n8.nabble.com/

[nobleyd]

首先，要保重在保留数量范围内。
其次，你的任务不能是stop的任务，flink会在任务stop的时候删除所有检查点。
cancel的时候不会删除。

Yun Tang <[hidden email]> 于2020年12月27日周日 下午5:55写道：

> Hi
>
> 既然UI上已经显示成功了，一定是成功且成功保存到HDFS上了，可以看下父目录的情况，chk-x 目录可能随着新的checkpoint完成而被删除
>
> 祝好
> 唐云
> ________________________________
> From: chen310 <[hidden email]>
> Sent: Friday, December 25, 2020 16:01
> To: [hidden email] <[hidden email]>
> Subject: checkpoint持久化问题
>
> 问题：
> flink sql中设置了job挂掉后checkpoint保留
>
> execution.checkpointing.externalized-checkpoint-retention
> RETAIN_ON_CANCELLATION
>
> 并且配置了checkpoint保存到hdfs上
>
> state.backend rocksdb
>
> #增量checkpoint
> #state.backend.incremental true
> state.checkpoints.dir hdfs:///tmp/flink/checkpoint
>
>
> flink实际也做了checkpoint，但是用这个路径去hdfs上查询，并不存在对应的路径的目录，好像并不是每次做checkpoint都会持久化到hdfs上，这个是要做啥配置么？让每次checkpoint都保存到磁盘
>
> <
> http://apache-flink.147419.n8.nabble.com/file/t572/4C10EE51C7A01D45B9278BE2D2CD6C10.jpg
> >
>
>
>
> --
> Sent from: http://apache-flink.147419.n8.nabble.com/
>