Flink 1.6 版本，RocksDBStateBackend ,增量 Checkpoint 目录问题

[LakeShen]

我使用 Flink 1.6 版本，使用的增量 Checkpoint，我看官网说，默认的 Checkpoint 保留目录是1，也就是会保留一个最新完成的
Checkpoint 目录，但是在我的任务 Checkpoint 路径下面，居然有很多个 chk-xxx 目录，比如说
chk-86515，chk-37878，而且在这些目录下面，还有数据，这是什么原因呢。
对这个地方有点困惑，既然默认保留的目录是1了，为什么还有这么多 chk 目录呢。
期待你的回答

[LakeShen]

原来是这样，中间的确有很多 Checkpoint 超时失败，对于这种由于 Checkpoint 失败创建的目录，Flink 本身是不会删除的，对吗？
也就是这部分状态文件，会一直存储在HDFS 上面，这种情况是否会造成 Flink Checkpoint 目录下 shared目录无限增大呢，
非常感谢你，lucas，期待你的回复。

lucas.wu <[hidden email]> 于2020年1月16日周四 下午4:50写道：

> 可能是失败的checkpoint目录，可以看看程序中间是不是有失败的checkpoint
>
>
> 原始邮件
> 发件人:[hidden email]
> 收件人:[hidden email]
> 发送时间:2020年1月16日(周四) 16:47
> 主题:Flink 1.6 版本，RocksDBStateBackend ,增量 Checkpoint 目录问题
>
>
> 我使用 Flink 1.6 版本，使用的增量 Checkpoint，我看官网说，默认的 Checkpoint
> 保留目录是1，也就是会保留一个最新完成的 Checkpoint 目录，但是在我的任务 Checkpoint 路径下面，居然有很多个 chk-xxx
> 目录，比如说 chk-86515，chk-37878，而且在这些目录下面，还有数据，这是什么原因呢。
> 对这个地方有点困惑，既然默认保留的目录是1了，为什么还有这么多 chk 目录呢。 期待你的回答

[Px New]

对  我认为这也不是很合理, 不知道有什么更好的解释吗

LakeShen <[hidden email]> 于2020年1月16日周四 下午5:06写道：

> 原来是这样，中间的确有很多 Checkpoint 超时失败，对于这种由于 Checkpoint 失败创建的目录，Flink 本身是不会删除的，对吗？
> 也就是这部分状态文件，会一直存储在HDFS 上面，这种情况是否会造成 Flink Checkpoint 目录下 shared目录无限增大呢，
> 非常感谢你，lucas，期待你的回复。
>
> lucas.wu <[hidden email]> 于2020年1月16日周四 下午4:50写道：
>
> > 可能是失败的checkpoint目录，可以看看程序中间是不是有失败的checkpoint
> >
> >
> > 原始邮件
> > 发件人:[hidden email]
> > 收件人:[hidden email]
> > 发送时间:2020年1月16日(周四) 16:47
> > 主题:Flink 1.6 版本，RocksDBStateBackend ,增量 Checkpoint 目录问题
> >
> >
> > 我使用 Flink 1.6 版本，使用的增量 Checkpoint，我看官网说，默认的 Checkpoint
> > 保留目录是1，也就是会保留一个最新完成的 Checkpoint 目录，但是在我的任务 Checkpoint 路径下面，居然有很多个 chk-xxx
> > 目录，比如说 chk-86515，chk-37878，而且在这些目录下面，还有数据，这是什么原因呢。
> > 对这个地方有点困惑，既然默认保留的目录是1了，为什么还有这么多 chk 目录呢。 期待你的回答
>