Flink Mysql sink按时间分库分表

[张健]

大家好：


想问下目前 flink mysql sink想要实现按时间分库分表 有什么配置项可以使用嘛？


我目前的需求是数据源经过一个简单的etl处理写入到mysql中，供业务实时查询。由于业务场景只需要查询当天的数据（历史数据有另外的离线模块处理），所以想每天的数据单独写入一张表中（表名为xxxxxx_YYYYMMDD）这样。但目前Flink JDBC sink是要指定表名的。请问下有什么简单的实现方案嘛？或者说对于我这样的场景有什么更好的实现方式嘛？


多谢。










--

张健

[Leonard Xu]

Hi

我理解这个除了指定表名，关键是要在数据库中自动建表吧，JDBC 这边之前有个相关issue我跟进过[2]，不过代码还没进，暂时还没有好的办法。Es connector 是支持类似功能的，如果数据可以放在es可以使用下。

祝好
Leonard
[1] https://issues.apache.org/jira/browse/FLINK-16294 <https://issues.apache.org/jira/browse/FLINK-16294>

> 在 2020年8月5日，20:36，张健 <[hidden email]> 写道：
>
>
>
>
> 大家好：
>
>
> 想问下目前 flink mysql sink想要实现按时间分库分表 有什么配置项可以使用嘛？
>
>
> 我目前的需求是数据源经过一个简单的etl处理写入到mysql中，供业务实时查询。由于业务场景只需要查询当天的数据（历史数据有另外的离线模块处理），所以想每天的数据单独写入一张表中（表名为xxxxxx_YYYYMMDD）这样。但目前Flink JDBC sink是要指定表名的。请问下有什么简单的实现方案嘛？或者说对于我这样的场景有什么更好的实现方式嘛？
>
>
> 多谢。
>
>
>
>
>
>
>
>
>
>
> --
>
> 张健