请教个checkpoint目录删除问题

[superainbower]

hi，请教个问题，statebackend是rocksdb，flink-conf.yaml文件里state.backend.incremental:true，当在hdfs上有个checkpoint目录，做完checkpoint的时候停掉任务，修改了代码重启任务，指定上次的checkpoint的目录位置，这时候新任务作完checkpoint以后，之前的那个checkpoint的目录 可以删除吗？因为配置了增量checkpoint，不知道之前任务的checkpoint目录对新任务是否还有用

[fanrui]

Hi
RocksDB 增量 Checkpoint 可能会依赖之前的 Checkpoint 数据，所以之前的 Checkpoint 目录不能随便删除。理论来讲过上一段时间就不会依赖了，但是时间策略并不可靠，是否依赖完全靠 RocksDB 的 Compaction 策略。严谨的方案是：通过解析 Checkpoint 元数据来评判是否依赖之前的 Checkpoint 目录。之前写过相关文章，附有解析元数据的相关代码，具体可以参考：https://mp.weixin.qq.com/s/oh53V_IQwgrD_GPRht1F5A


Best
fanrui




------------------ 原始邮件 ------------------
发件人:                                                                                                                        "user-zh"                                                                                    <[hidden email]&gt;;
发送时间:&nbsp;2020年9月8日(星期二) 晚上7:47
收件人:&nbsp;"[hidden email]"<[hidden email]&gt;;

主题:&nbsp;请教个checkpoint目录删除问题



hi，请教个问题，statebackend是rocksdb，flink-conf.yaml文件里state.backend.incremental:true，当在hdfs上有个checkpoint目录，做完checkpoint的时候停掉任务，修改了代码重启任务，指定上次的checkpoint的目录位置，这时候新任务作完checkpoint以后，之前的那个checkpoint的目录 可以删除吗？因为配置了增量checkpoint，不知道之前任务的checkpoint目录对新任务是否还有用

[superainbower]

HI
我看了你的文章，讲的很有道理，想尝试你的解析metadata的代码时候，发现没法导入
|
|
| importorg.apache.flink.runtime.checkpoint.savepoint.Savepoint; 这是不是版本问题，savepoint已经不在这个类下面了吧，我用的依赖是 flink1.11.1 |
| |
| |
superainbower
|
|
[hidden email]
|
签名由网易邮箱大师定制


在2020年09月8日 19:56，范瑞<[hidden email]> 写道：
Hi
RocksDB 增量 Checkpoint 可能会依赖之前的 Checkpoint 数据，所以之前的 Checkpoint 目录不能随便删除。理论来讲过上一段时间就不会依赖了，但是时间策略并不可靠，是否依赖完全靠 RocksDB 的 Compaction 策略。严谨的方案是：通过解析 Checkpoint 元数据来评判是否依赖之前的 Checkpoint 目录。之前写过相关文章，附有解析元数据的相关代码，具体可以参考：https://mp.weixin.qq.com/s/oh53V_IQwgrD_GPRht1F5A


Best
fanrui




------------------&nbsp;原始邮件&nbsp;------------------
发件人:                                                                                                                        "user-zh"                                                                                    <[hidden email]&gt;;
发送时间:&nbsp;2020年9月8日(星期二) 晚上7:47
收件人:&nbsp;"[hidden email]"<[hidden email]&gt;;

主题:&nbsp;请教个checkpoint目录删除问题



hi，请教个问题，statebackend是rocksdb，flink-conf.yaml文件里state.backend.incremental:true，当在hdfs上有个checkpoint目录，做完checkpoint的时候停掉任务，修改了代码重启任务，指定上次的checkpoint的目录位置，这时候新任务作完checkpoint以后，之前的那个checkpoint的目录 可以删除吗？因为配置了增量checkpoint，不知道之前任务的checkpoint目录对新任务是否还有用

[superainbower]

hi
不用回复了，我搞好了，谢谢


| |
superainbower
|
|
[hidden email]
|
签名由网易邮箱大师定制


在2020年09月9日 10:19，superainbower<[hidden email]> 写道：
HI
我看了你的文章，讲的很有道理，想尝试你的解析metadata的代码时候，发现没法导入
|
|
| importorg.apache.flink.runtime.checkpoint.savepoint.Savepoint; 这是不是版本问题，savepoint已经不在这个类下面了吧，我用的依赖是 flink1.11.1 |
| |
| |
superainbower
|
|
[hidden email]
|
签名由网易邮箱大师定制


在2020年09月8日 19:56，范瑞<[hidden email]> 写道：
Hi
RocksDB 增量 Checkpoint 可能会依赖之前的 Checkpoint 数据，所以之前的 Checkpoint 目录不能随便删除。理论来讲过上一段时间就不会依赖了，但是时间策略并不可靠，是否依赖完全靠 RocksDB 的 Compaction 策略。严谨的方案是：通过解析 Checkpoint 元数据来评判是否依赖之前的 Checkpoint 目录。之前写过相关文章，附有解析元数据的相关代码，具体可以参考：https://mp.weixin.qq.com/s/oh53V_IQwgrD_GPRht1F5A


Best
fanrui




------------------&nbsp;原始邮件&nbsp;------------------
发件人:                                                                                                                        "user-zh"                                                                                    <[hidden email]&gt;;
发送时间:&nbsp;2020年9月8日(星期二) 晚上7:47
收件人:&nbsp;"[hidden email]"<[hidden email]&gt;;

主题:&nbsp;请教个checkpoint目录删除问题



hi，请教个问题，statebackend是rocksdb，flink-conf.yaml文件里state.backend.incremental:true，当在hdfs上有个checkpoint目录，做完checkpoint的时候停掉任务，修改了代码重启任务，指定上次的checkpoint的目录位置，这时候新任务作完checkpoint以后，之前的那个checkpoint的目录 可以删除吗？因为配置了增量checkpoint，不知道之前任务的checkpoint目录对新任务是否还有用