Apache Flink 中文用户邮件列表
Search
everywhere
only in this topic
Advanced Search
怎么实现不同的数据源有不同的状态过期时间
Classic
List
Threaded
♦
♦
Locked
3 messages
pass
Reply
|
Threaded
Open this post in threaded view
♦
♦
|
怎么实现不同的数据源有不同的状态过期时间
目前我就知道通过这两种方式设置全局的状态清理策略,但是 我们的场景是,事实表的状态不能无限增长,是肯定要设置状态过期时间的,但是存储维度表数据的状态,肯定会有一些长时间空闲的,比如人员信息,但又不能让它们过期,不然哪天join时又关联不上了。有什么好的建议吗。
我的程序使用flink-connector-mysql-cdc和flinksql做的计算。
鱼子酱
Reply
|
Threaded
Open this post in threaded view
♦
♦
|
Re: 怎么实现不同的数据源有不同的状态过期时间
flinksql的话,字典表好像是有过期时间设置的,不清楚是不是你要的场景
create table ……(
……
)
with(
……
'lookup.cache.max-rows' = '300000',
'lookup.cache.ttl' = '86400s',
'lookup.max-retries' = '5'
)
pass
Reply
|
Threaded
Open this post in threaded view
♦
♦
|
Re: 怎么实现不同的数据源有不同的状态过期时间
jdbc Connector不太符合我的场景,我需要拿到最新的数据,又不想频繁请求数据库,cdc connector更符合场景
Free forum by Nabble
Edit this page