Re: 使用flinksql提供的内置函数LAST_VALUE 发现存的state越来越大

classic Classic list List threaded Threaded
2 messages Options
Reply | Threaded
Open this post in threaded view
|

Re: 使用flinksql提供的内置函数LAST_VALUE 发现存的state越来越大

guoliang_wang1335
  Hi,
       我设置了状态过期,如下。使用内置函数LAST_VALUE后,观察lastCheckpointSize大小,发现其越来越大。 。请问,下面的设置对LAST_VALUE会生效吗?我应该怎么处理呢?感谢!
TableConfigtConfig=tableEnv.getConfig();
tConfig.setIdleStateRetentionTime(Time.hours(12),Time.hours(24));
Reply | Threaded
Open this post in threaded view
|

Re: 使用flinksql提供的内置函数LAST_VALUE 发现存的state越来越大

guoliang_wang1335
补充下具体设置:
         使用flink1.10。。开启了mini-batch和设置了idleStateRetentionTime,在最后sink的时候insert into table select a, LAST_VALUE(b) group by a; 有关配置如下:
val tConfig: TableConfig = tEnv.getConfig
tConfig.setIdleStateRetentionTime(Time.hours(1), Time.hours(2))
val configuration = tEnv.getConfig().getConfiguration()
configuration.setString("table.exec.mini-batch.enabled", "true")
configuration.setString("table.exec.mini-batch.allow-latency", "5 s")
configuration.setString("table.exec.mini-batch.size", "5000")
发现状态越来越大。


请问,有人遇到过这个问题吗?














在 2020-12-11 16:06:50,"guoliang_wang1335" <[hidden email]> 写道:
>  Hi,
>       我设置了状态过期,如下。使用内置函数LAST_VALUE后,观察lastCheckpointSize大小,发现其越来越大。 。请问,下面的设置对LAST_VALUE会生效吗?我应该怎么处理呢?感谢!
>TableConfigtConfig=tableEnv.getConfig();
>tConfig.setIdleStateRetentionTime(Time.hours(12),Time.hours(24));