rocksdb状态后端最多保留checkpoints问题

[casel.chen]

作业中使用了增量式的rocksdb状态后端，请问如果再设置了最多保留checkpoints个数的话，会不会造成rocksdb state恢复失败？例如，假设完整的state恢复需要最近10个chk，但因为设置了最多保留checkpoints个数为5的话，状态是不是恢复不了了？

[tison]

rocksdb 增量 checkpoint 不是你这么理解的，总的不会恢复不了。原因可以参考下面的材料

-
https://flink.apache.org/features/2018/01/30/incremental-checkpointing.html
官方 blog 介绍
- https://www.bilibili.com/video/BV1db411e7x2 施博士的介绍，大概 24 分钟开始讲

Best,
tison.


casel.chen <[hidden email]> 于2021年5月27日周四 下午11:35写道：

> 作业中使用了增量式的rocksdb状态后端，请问如果再设置了最多保留checkpoints个数的话，会不会造成rocksdb
> state恢复失败？例如，假设完整的state恢复需要最近10个chk，但因为设置了最多保留checkpoints个数为5的话，状态是不是恢复不了了？

[liujiangang]

增量快照的原理是sst文件共享，系统会自动帮助你管理sst文件的引用，类似java的引用，并不会因为一个快照删除了就会把实际的数据删除掉。
也就不会发生你说的情况

tison <[hidden email]> 于2021年5月28日周五 上午1:47写道：

> rocksdb 增量 checkpoint 不是你这么理解的，总的不会恢复不了。原因可以参考下面的材料
>
> -
> https://flink.apache.org/features/2018/01/30/incremental-checkpointing.html
> 官方 blog 介绍
> - https://www.bilibili.com/video/BV1db411e7x2 施博士的介绍，大概 24 分钟开始讲
>
> Best,
> tison.
>
>
> casel.chen <[hidden email]> 于2021年5月27日周四 下午11:35写道：
>
> > 作业中使用了增量式的rocksdb状态后端，请问如果再设置了最多保留checkpoints个数的话，会不会造成rocksdb
> >
> state恢复失败？例如，假设完整的state恢复需要最近10个chk，但因为设置了最多保留checkpoints个数为5的话，状态是不是恢复不了了？
>

[LakeShen]

在增量 checkpoint 下，你可以简单理解状态几乎都存在 checkpoint 目录中的 shared 目录，
所以即使清理 checkpoint，也只是先将这次 checkpoint 引用的相关文件句柄的引用数减1，
只有一个文件没有 checkpoint 引用它时，才会真正删除该文件。

Best，
LakeShen.

刘建刚 <[hidden email]> 于2021年5月28日周五 下午7:03写道：

> 增量快照的原理是sst文件共享，系统会自动帮助你管理sst文件的引用，类似java的引用，并不会因为一个快照删除了就会把实际的数据删除掉。
> 也就不会发生你说的情况
>
> tison <[hidden email]> 于2021年5月28日周五 上午1:47写道：
>
> > rocksdb 增量 checkpoint 不是你这么理解的，总的不会恢复不了。原因可以参考下面的材料
> >
> > -
> >
> https://flink.apache.org/features/2018/01/30/incremental-checkpointing.html
> > 官方 blog 介绍
> > - https://www.bilibili.com/video/BV1db411e7x2 施博士的介绍，大概 24 分钟开始讲
> >
> > Best,
> > tison.
> >
> >
> > casel.chen <[hidden email]> 于2021年5月27日周四 下午11:35写道：
> >
> > > 作业中使用了增量式的rocksdb状态后端，请问如果再设置了最多保留checkpoints个数的话，会不会造成rocksdb
> > >
> >
> state恢复失败？例如，假设完整的state恢复需要最近10个chk，但因为设置了最多保留checkpoints个数为5的话，状态是不是恢复不了了？
> >
>