UpsertKafka state持续增加问题

classic Classic list List threaded Threaded
1 message Options
Reply | Threaded
Open this post in threaded view
|

UpsertKafka state持续增加问题

xhzhang
大家好:
我在flink1.12.1上,通过SQL
API测试upsertKafka,使用hdfs保存checkpoint数据,每30分钟进行一次checkpoint。kafka消息key和value均使用json格式。
持续写入300w不同主键的数据,checkpoint大小持续增加,最终生成save point时,大小接近300M。
请问UpsertKafka模式下,state中是否会一直保存所有的key?未被访问的key是否会被清空呢?