请教一下flink1.12可以指定时间清除state吗?

classic Classic list List threaded Threaded
5 messages Options
Reply | Threaded
Open this post in threaded view
|

请教一下flink1.12可以指定时间清除state吗?

徐州州
Hi,社区的各位大家好: 请教一下,我目前生产上使用的flink1.12,根据公司需求,统计每天的日报,每天出一组结果。已经做了group by current_date,userId  过程中我发现隔天的flink state未清理,还是在前一天的结果上累加,自己也测试了 1、Stream的TTL  2、tabEnv.getConfig().setIdleStateRetention(Duration.ofDays(1))这两种方式并不能满足我的需求,请教一下有其他方法可以实现这种日报需求吗?
Reply | Threaded
Open this post in threaded view
|

Re: 请教一下flink1.12可以指定时间清除state吗?

nobleyd
你这个直接按照天分窗就可以呀。

三色堇 <[hidden email]> 于2020年12月18日周五 下午3:20写道:

> Hi,社区的各位大家好:&nbsp;请教一下,我目前生产上使用的flink1.12,根据公司需求,统计每天的日报,每天出一组结果。已经做了group
> by current_date,userId&nbsp; 过程中我发现隔天的flink state未清理,还是在前一天的结果上累加,自己也测试了
> 1、Stream的TTL&nbsp;
> 2、tabEnv.getConfig().setIdleStateRetention(Duration.ofDays(1))这两种方式并不能满足我的需求,请教一下有其他方法可以实现这种日报需求吗?
Reply | Threaded
Open this post in threaded view
|

回复: 请教一下flink1.12可以指定时间清除state吗?

徐州州
大佬,按天开窗滑动窗口会重复吗?滚动好像不行。




------------------&nbsp;原始邮件&nbsp;------------------
发件人:                                                                                                                        "user-zh"                                                                                    <[hidden email]&gt;;
发送时间:&nbsp;2020年12月18日(星期五) 晚上9:50
收件人:&nbsp;"user-zh"<[hidden email]&gt;;

主题:&nbsp;Re: 请教一下flink1.12可以指定时间清除state吗?



你这个直接按照天分窗就可以呀。

三色堇 <[hidden email]&gt; 于2020年12月18日周五 下午3:20写道:

&gt; Hi,社区的各位大家好:&amp;nbsp;请教一下,我目前生产上使用的flink1.12,根据公司需求,统计每天的日报,每天出一组结果。已经做了group
&gt; by current_date,userId&amp;nbsp; 过程中我发现隔天的flink state未清理,还是在前一天的结果上累加,自己也测试了
&gt; 1、Stream的TTL&amp;nbsp;
&gt; 2、tabEnv.getConfig().setIdleStateRetention(Duration.ofDays(1))这两种方式并不能满足我的需求,请教一下有其他方法可以实现这种日报需求吗?
Reply | Threaded
Open this post in threaded view
|

Re: 请教一下flink1.12可以指定时间清除state吗?

nobleyd
窗口不会重复?重叠?是否重叠取决于你使用什么窗口。tumble窗口是不重叠的。

三色堇 <[hidden email]> 于2020年12月21日周一 上午8:47写道:

> 大佬,按天开窗滑动窗口会重复吗?滚动好像不行。
>
>
>
>
> ------------------&nbsp;原始邮件&nbsp;------------------
> 发件人:
>                                                   "user-zh"
>                                                                     <
> [hidden email]&gt;;
> 发送时间:&nbsp;2020年12月18日(星期五) 晚上9:50
> 收件人:&nbsp;"user-zh"<[hidden email]&gt;;
>
> 主题:&nbsp;Re: 请教一下flink1.12可以指定时间清除state吗?
>
>
>
> 你这个直接按照天分窗就可以呀。
>
> 三色堇 <[hidden email]&gt; 于2020年12月18日周五 下午3:20写道:
>
> &gt;
> Hi,社区的各位大家好:&amp;nbsp;请教一下,我目前生产上使用的flink1.12,根据公司需求,统计每天的日报,每天出一组结果。已经做了group
> &gt; by current_date,userId&amp;nbsp; 过程中我发现隔天的flink
> state未清理,还是在前一天的结果上累加,自己也测试了
> &gt; 1、Stream的TTL&amp;nbsp;
> &gt;
> 2、tabEnv.getConfig().setIdleStateRetention(Duration.ofDays(1))这两种方式并不能满足我的需求,请教一下有其他方法可以实现这种日报需求吗?
Reply | Threaded
Open this post in threaded view
|

Re: 请教一下flink1.12可以指定时间清除state吗?

Storm☀️
In reply to this post by 徐州州
增加一个定时器,可以指定时间做清理动作。可以参考flink中window trigger的相关代码和实现。



--
Sent from: http://apache-flink.147419.n8.nabble.com/