kafka table connector保留多久的数据

classic Classic list List threaded Threaded
2 messages Options
Reply | Threaded
Open this post in threaded view
|

kafka table connector保留多久的数据

marble.zhong@coinflex.com.INVALID
你好, 用kafka table
connector接过来的数据,在flink这边会保留多久,在参数列表里没有看到有这个设置,如果保留太久,内存会撑暴,比如我只想保留半个小时,之前的数据可以清除。



--
Sent from: http://apache-flink.147419.n8.nabble.com/
Reply | Threaded
Open this post in threaded view
|

Re: kafka table connector保留多久的数据

Xiao Xu
flink 是不会保留数据的, 数据都是落盘在 kafka 里, flink 根据 offset 去读 kafka 里的数据, 可以设置 kafka
里留存的时间

[hidden email] <[hidden email]>
于2020年10月14日周三 下午4:37写道:

> 你好, 用kafka table
>
> connector接过来的数据,在flink这边会保留多久,在参数列表里没有看到有这个设置,如果保留太久,内存会撑暴,比如我只想保留半个小时,之前的数据可以清除。
>
>
>
> --
> Sent from: http://apache-flink.147419.n8.nabble.com/