flink1.10.1/1.11.1 使用sql 进行group 和 时间窗口 操作后 状态越来越大

[Storm☀️]

唐云大佬好，
我关闭了chk的增量模式之后，chkstate确实不会再无线膨胀了。这个是我配置的不准确，还是一个已知问题呢



--
Sent from: http://apache-flink.147419.n8.nabble.com/

[Yun Tang]

Hi @Storm

checkpoint的增量模式目前仅对RocksDB生效，这里的增量是指上传新产生的DB sst文件。而RocksDB的全量模式是将DB的有效kv进行序列化写出，除非有大量的数据没有compaction清理掉，否则不可能出现增量checkpoint size无限膨胀，而全量checkpoint正常的问题，你这里的无限膨胀的size范围是多大呢？

祝好
唐云
________________________________
From: Storm☀️ <[hidden email]>
Sent: Tuesday, December 22, 2020 19:52
To: [hidden email] <[hidden email]>
Subject: Re: flink1.10.1/1.11.1 使用sql 进行group 和 时间窗口 操作后 状态越来越大

唐云大佬好，
我关闭了chk的增量模式之后，chkstate确实不会再无线膨胀了。这个是我配置的不准确，还是一个已知问题呢



--
Sent from: http://apache-flink.147419.n8.nabble.com/

[Storm☀️]

在测试环境：
关闭增量chk,全量的state大小大约在：100M左右；
之前开启：我观察了一段时间，膨胀到5G，而且还一直在增长；
sql：
select sum(xx) group by 1 分钟窗口

过期时间设置的为：5-30min


谢谢

--
Sent from: http://apache-flink.147419.n8.nabble.com/