hi, all !
flink版本:1.9需求:统计用户每天的订单数据(订单可以修改,导致同一个订单会有条数据,最终根据时间排序取最新的一条来做统计)。
应用:select userId,sum(money) as result,ymd from (
select userId,order_id,money,DATE_FORMAT(trans_time,'yyyyMMdd') as ymd,row_number() over(partition by order_id order by last_modify_time desc) as rk from MyTable where type='1'
) t where t.rk = 1 group by userId,ymd;
配置:tableConfig.setIdleStateRetentionTime(Time.milliseconds(3600000), Time.milliseconds(390000)); --相当于设置了1小时的过期时间
现象:checkpoint的数据大小一直在增加(应该是ttl状态过期未生效)
问题:翻看了jira,发现有人已经提出了这个问题【1】,想问一下这个问题还有什么补救的措施吗?
【1】
https://issues.apache.org/jira/browse/FLINK-17096