flink 1.9.1状态持续增大

classic Classic list List threaded Threaded
3 messages Options
Reply | Threaded
Open this post in threaded view
|

flink 1.9.1状态持续增大

Dream-底限
Hello,我这面用FlinkKafkaConsumer011订阅topic list,在设置过期时间后过期状态没有清理,请问有什么解决办法吗,
并且使用双流union过期状态也是不清理,但是单流的和单topic的情况是可以清理的,请问这是bug吗



发送自 Windows 10 版邮件应用

Reply | Threaded
Open this post in threaded view
|

Re: flink 1.9.1状态持续增大

Congxian Qiu
Hi

你使用 TTL state 吗? 你怎么使用的,预期行为是什么

Best,
Congxian


谷歌-akulaku <[hidden email]> 于2019年11月27日周三 下午5:54写道:

> Hello,我这面用FlinkKafkaConsumer011订阅topic list,在设置过期时间后过期状态没有清理,请问有什么解决办法吗,
> 并且使用双流union过期状态也是不清理,但是单流的和单topic的情况是可以清理的,请问这是bug吗
>
>
>
> 发送自 Windows 10 版邮件应用
>
>
Reply | Threaded
Open this post in threaded view
|

Re: flink 1.9.1状态持续增大

Dream-底限
我在用Flink的Blink Table Api,状态设置为:
streamTableEnv.getConfig().setIdleStateRetentionTime(Time.minutes(15),
Time.minutes(20));
,我预期过期状态自动清理,总的状态大小在一个范围内波动,但是现在过期状态并没有清理,导致状态越来越大,最终内存溢出;并且先前对于订阅单topic的流使用子查询sql,最外层使用处理时间时间窗口统计,单过期状态也不清理(这种情况不知道是不是误用导致的)

On Wed, Nov 27, 2019 at 8:18 PM Congxian Qiu <[hidden email]> wrote:

> Hi
>
> 你使用 TTL state 吗? 你怎么使用的,预期行为是什么
>
> Best,
> Congxian
>
>
> 谷歌-akulaku <[hidden email]> 于2019年11月27日周三 下午5:54写道:
>
> > Hello,我这面用FlinkKafkaConsumer011订阅topic list,在设置过期时间后过期状态没有清理,请问有什么解决办法吗,
> > 并且使用双流union过期状态也是不清理,但是单流的和单topic的情况是可以清理的,请问这是bug吗
> >
> >
> >
> > 发送自 Windows 10 版邮件应用
> >
> >
>