flink sql作业state size一直增加

[sunfulin]

hi，我的一个flink sql作业，在启用了idlestateretentiontime设置后，观察到web ui上的state size还是一直在增大，超过maximum retention time之后state大小也没有减小的情况，请问这个可能是啥原因哈？


使用的flink 版本：flink 1.10.1，启用的state ttl配置：tableEnv.getConfig.setIdleStateRetentionTime(Time.minutes(5), Time.minutes(10));
我的作业逻辑是：统计每个userId每天第一次出现的记录，类似：select userId, first_value(xxx) from source group by userId, date_format(eventtime, 'yyyy-MM-dd');

[Benchao Li-2]

Hi,
现在group agg + mini batch 还没有支持状态过期清理，已经有工作[1] 在解决这个问题了。

[1] https://issues.apache.org/jira/browse/FLINK-17096

sunfulin <[hidden email]> 于2020年8月14日周五 下午2:06写道：

> hi，我的一个flink sql作业，在启用了idlestateretentiontime设置后，观察到web ui上的state
> size还是一直在增大，超过maximum retention time之后state大小也没有减小的情况，请问这个可能是啥原因哈？
>
>
> 使用的flink 版本：flink 1.10.1，启用的state
> ttl配置：tableEnv.getConfig.setIdleStateRetentionTime(Time.minutes(5),
> Time.minutes(10));
> 我的作业逻辑是：统计每个userId每天第一次出现的记录，类似：select userId, first_value(xxx) from
> source group by userId, date_format(eventtime, 'yyyy-MM-dd');



--

Best,
Benchao Li

[sunfulin]

hi, benchao,
感谢回复，那我是不是可以理解为：去掉minibatch，就可以状态过期清理了哈？

















在 2020-08-14 14:09:33，"Benchao Li" <[hidden email]> 写道：

>Hi,
>现在group agg + mini batch 还没有支持状态过期清理，已经有工作[1] 在解决这个问题了。
>
>[1] https://issues.apache.org/jira/browse/FLINK-17096
>
>sunfulin <[hidden email]> 于2020年8月14日周五 下午2:06写道：
>
>> hi，我的一个flink sql作业，在启用了idlestateretentiontime设置后，观察到web ui上的state
>> size还是一直在增大，超过maximum retention time之后state大小也没有减小的情况，请问这个可能是啥原因哈？
>>
>>
>> 使用的flink 版本：flink 1.10.1，启用的state
>> ttl配置：tableEnv.getConfig.setIdleStateRetentionTime(Time.minutes(5),
>> Time.minutes(10));
>> 我的作业逻辑是：统计每个userId每天第一次出现的记录，类似：select userId, first_value(xxx) from
>> source group by userId, date_format(eventtime, 'yyyy-MM-dd');
>
>
>
>--
>
>Best,
>Benchao Li

[Benchao Li-2]

是的。

sunfulin <[hidden email]> 于2020年8月14日周五 下午3:01写道：

> hi, benchao,
> 感谢回复，那我是不是可以理解为：去掉minibatch，就可以状态过期清理了哈？
>
>
>
>
>
>
>
>
>
>
>
>
>
>
>
>
>
> 在 2020-08-14 14:09:33，"Benchao Li" <[hidden email]> 写道：
> >Hi,
> >现在group agg + mini batch 还没有支持状态过期清理，已经有工作[1] 在解决这个问题了。
> >
> >[1] https://issues.apache.org/jira/browse/FLINK-17096
> >
> >sunfulin <[hidden email]> 于2020年8月14日周五 下午2:06写道：
> >
> >> hi，我的一个flink sql作业，在启用了idlestateretentiontime设置后，观察到web ui上的state
> >> size还是一直在增大，超过maximum retention time之后state大小也没有减小的情况，请问这个可能是啥原因哈？
> >>
> >>
> >> 使用的flink 版本：flink 1.10.1，启用的state
> >> ttl配置：tableEnv.getConfig.setIdleStateRetentionTime(Time.minutes(5),
> >> Time.minutes(10));
> >> 我的作业逻辑是：统计每个userId每天第一次出现的记录，类似：select userId, first_value(xxx) from
> >> source group by userId, date_format(eventtime, 'yyyy-MM-dd');
> >
> >
> >
> >--
> >
> >Best,
> >Benchao Li
>

--

Best,
Benchao Li

[Storm☀️]

mini batch默认为false 。题主问题找到了吗



--
Sent from: http://apache-flink.147419.n8.nabble.com/

[nobleyd]

话说为什么会有这类需求呢，感觉flink就不应该有state.retention这种考虑。要么使用time window，要么over
window。干嘛不分窗呢。。

Storm☀️ <[hidden email]> 于2020年12月18日周五 上午11:17写道：

> mini batch默认为false 。题主问题找到了吗
>
>
>
> --
> Sent from: http://apache-flink.147419.n8.nabble.com/
>