flink 1.11 cp size越来越大

[liangji]

读取kafka数据写入mysql
1、部分代码如下
<http://apache-flink.147419.n8.nabble.com/file/t538/QQ%E6%88%AA%E5%9B%BE20210326162857.jpg>
2、从cp图中看到cp size越来越大，7天的时间从400m增加到了快2g
<http://apache-flink.147419.n8.nabble.com/file/t538/QQ%E6%88%AA%E5%9B%BE20210326163404.jpg>
下面是一次cp的详细数据，两次window的过程中cp size很大
<http://apache-flink.147419.n8.nabble.com/file/t538/QQ%E6%88%AA%E5%9B%BE20210326163020.jpg>
3、近7天的kafka消息量如下
<http://apache-flink.147419.n8.nabble.com/file/t538/QQ%E6%88%AA%E5%9B%BE20210326163045.jpg>

请问大佬们，cp size为啥会越来越大？或者有什么排查思路吗？




--
Sent from: http://apache-flink.147419.n8.nabble.com/

[Shuai Xia]

Hi,有看过HDFS上真实的CK文件大小么,可以参考下这个邮件
http://apache-flink.147419.n8.nabble.com/Flink-sql-checkpoint-td10176.html#a10200


------------------------------------------------------------------
发件人：liangji <[hidden email]>
发送时间：2021年3月26日(星期五) 16:39
收件人：user-zh <[hidden email]>
主　题：flink 1.11 cp size越来越大

读取kafka数据写入mysql
1、部分代码如下
<http://apache-flink.147419.n8.nabble.com/file/t538/QQ%E6%88%AA%E5%9B%BE20210326162857.jpg>
2、从cp图中看到cp size越来越大，7天的时间从400m增加到了快2g
<http://apache-flink.147419.n8.nabble.com/file/t538/QQ%E6%88%AA%E5%9B%BE20210326163404.jpg>
下面是一次cp的详细数据，两次window的过程中cp size很大
<http://apache-flink.147419.n8.nabble.com/file/t538/QQ%E6%88%AA%E5%9B%BE20210326163020.jpg>
3、近7天的kafka消息量如下
<http://apache-flink.147419.n8.nabble.com/file/t538/QQ%E6%88%AA%E5%9B%BE20210326163045.jpg>

请问大佬们，cp size为啥会越来越大？或者有什么排查思路吗？




--
Sent from: http://apache-flink.147419.n8.nabble.com/