FlinkSQL如何处理上游的表结构变更

classic Classic list List threaded Threaded
3 messages Options
Reply | Threaded
Open this post in threaded view
|

FlinkSQL如何处理上游的表结构变更

xiao cai
Hi all:
flink version : 1.11.0
场景:上游的数据来自binlog,当发生表结构变更时,希望能够实时的变动flink内部表的schema,但是目前来看,表的schema都是create table时写死的,有什么办法可以处理这种场景呢
Reply | Threaded
Open this post in threaded view
|

回复:FlinkSQL如何处理上游的表结构变更

忝忝向仧
同问如果是上游表结构变更没有及时通知到下游,数据同步这块就会报错
有没什么办法解决?




------------------ 原始邮件 ------------------
发件人:                                                                                                                        "user-zh"                                                                                    <[hidden email]&gt;;
发送时间:&nbsp;2020年9月4日(星期五) 下午2:18
收件人:&nbsp;"user-zh"<[hidden email]&gt;;

主题:&nbsp;FlinkSQL如何处理上游的表结构变更



Hi all:
flink version : 1.11.0
场景:上游的数据来自binlog,当发生表结构变更时,希望能够实时的变动flink内部表的schema,但是目前来看,表的schema都是create table时写死的,有什么办法可以处理这种场景呢
Reply | Threaded
Open this post in threaded view
|

Re: FlinkSQL如何处理上游的表结构变更

Benchao Li-2
我理解SQL本身都是强类型的,要处理这种schema会变更的情况可能本身就不是很合适。

CC 云邪,不知道云邪大佬对这个有没有更好的想法。

忝忝向仧 <[hidden email]> 于2020年9月5日周六 下午4:50写道:

> 同问如果是上游表结构变更没有及时通知到下游,数据同步这块就会报错
> 有没什么办法解决?
>
>
>
>
> ------------------&nbsp;原始邮件&nbsp;------------------
> 发件人:
>                                                   "user-zh"
>                                                                     <
> [hidden email]&gt;;
> 发送时间:&nbsp;2020年9月4日(星期五) 下午2:18
> 收件人:&nbsp;"user-zh"<[hidden email]&gt;;
>
> 主题:&nbsp;FlinkSQL如何处理上游的表结构变更
>
>
>
> Hi all:
> flink version : 1.11.0
> 场景:上游的数据来自binlog,当发生表结构变更时,希望能够实时的变动flink内部表的schema,但是目前来看,表的schema都是create
> table时写死的,有什么办法可以处理这种场景呢



--

Best,
Benchao Li