flink checkpoint 数据清理问题

[赵旭晨]

背景：1.flink 集群模式 standalone HA ，共三台，zk选举jobmanager，1 active  1 standby

2.文件系统由于公司原因，没有用hdfs，用的本地文件系统

3.backend用的增量rocksdb

配置情况：

进程分布情况如下:

问题：checkpoint数据在01（01是主jobmanager）上占用很小，但在02、03节点增长特别快，目前已占用数据盘90%的存储。

但由于使用的是增量rocksdb，不敢随意删chekpoint数据，想问问大佬们：

1.是否有办法让flink自动清理过期checkpoint，还是只能通过加磁盘方式解决？

2.我一直认为checkpoint数据是由主jobmanager触发写的，那么在当前情况应该只有01节点会写入checkpoint（本地磁盘），为什么02、03节点也会写入checkpoint，而且写入量比01大那么多？

 

[hk__lrzy]

1. state.checkpoints.num-retained 设置保存checkpoint的数量。
2. 因为你写的本地文件，所以JM侧的集群是否只在checkpoint的metadata信息，而其他机器上保存着具体的state状态



--
Sent from: http://apache-flink.147419.n8.nabble.com/