怎么实现不同的数据源有不同的状态过期时间

classic Classic list List threaded Threaded
3 messages Options
Reply | Threaded
Open this post in threaded view
|

怎么实现不同的数据源有不同的状态过期时间

pass

目前我就知道通过这两种方式设置全局的状态清理策略,但是 我们的场景是,事实表的状态不能无限增长,是肯定要设置状态过期时间的,但是存储维度表数据的状态,肯定会有一些长时间空闲的,比如人员信息,但又不能让它们过期,不然哪天join时又关联不上了。有什么好的建议吗。
我的程序使用flink-connector-mysql-cdc和flinksql做的计算。
Reply | Threaded
Open this post in threaded view
|

Re: 怎么实现不同的数据源有不同的状态过期时间

鱼子酱
flinksql的话,字典表好像是有过期时间设置的,不清楚是不是你要的场景

  create table ……(
……
    )
    with(
……
      'lookup.cache.max-rows' = '300000',
      'lookup.cache.ttl' = '86400s',
      'lookup.max-retries' = '5'
    )
Reply | Threaded
Open this post in threaded view
|

Re: 怎么实现不同的数据源有不同的状态过期时间

pass
jdbc Connector不太符合我的场景,我需要拿到最新的数据,又不想频繁请求数据库,cdc connector更符合场景