flink sql CDC 同步到 hive的问题咨询

classic Classic list List threaded Threaded
2 messages Options
Reply | Threaded
Open this post in threaded view
|

flink sql CDC 同步到 hive的问题咨询

zhongbaoluo
请问,我们有一个需求;需要把 mysql 数据通过CDC 方案实时同步到 hive 数据库,flink 同步的时候正对 update 和 delete 操作是否有什么解决方案?


**********************************************************************
Thanks & Best Regards!


杉欣集团-技术研究院  云平台
钟保罗


上海浦东新区东方路3261号振华广场B座23楼(杉欣集团)
email: [hidden email]
手机: 18157855633
Reply | Threaded
Open this post in threaded view
|

回复: flink sql CDC 同步到 hive的问题咨询

史 正超
目前还不支持,因为hive不支持更新,而且filesystem connector的实现并不是DynamicTableFactory (FLIP-95 connector),还是之前的老接口。
如果你不希望做更新操作入到hive的话,有一种思路是更改mysql-cdc的源码,让它支持的ChangeLogMode只为INSERT,然后增加一个`DebeziumDeserializationSchema`类,把每条消息当成 insert 消息去解析,把所有字段声明出来。
________________________________
发件人: zhongbaoluo <[hidden email]>
发送时间: 2020年10月21日 11:55
收件人: user-zh <[hidden email]>
主题: flink sql CDC 同步到 hive的问题咨询

请问,我们有一个需求;需要把 mysql 数据通过CDC 方案实时同步到 hive 数据库,flink 同步的时候正对 update 和 delete 操作是否有什么解决方案?


**********************************************************************
Thanks & Best Regards!


杉欣集团-技术研究院  云平台
钟保罗


上海浦东新区东方路3261号振华广场B座23楼(杉欣集团)
email: [hidden email]
手机: 18157855633