Apache Flink 中文用户邮件列表
Search
everywhere
only in this topic
Advanced Search
UpsertKafka state持续增加问题
Classic
List
Threaded
♦
♦
Locked
1 message
xhzhang
Reply
|
Threaded
Open this post in threaded view
♦
♦
|
UpsertKafka state持续增加问题
大家好:
我在flink1.12.1上,通过SQL
API测试upsertKafka,使用hdfs保存checkpoint数据,每30分钟进行一次checkpoint。kafka消息key和value均使用json格式。
持续写入300w不同主键的数据,checkpoint大小持续增加,最终生成save point时,大小接近300M。
请问UpsertKafka模式下,state中是否会一直保存所有的key?未被访问的key是否会被清空呢?
Free forum by Nabble
Edit this page