flink-sql cdc 支持哪些sink?是否支持sink到开启了update的hive

classic Classic list List threaded Threaded
2 messages Options
Reply | Threaded
Open this post in threaded view
|

flink-sql cdc 支持哪些sink?是否支持sink到开启了update的hive

MuChen
hi,all:
    如题:flink-sql cdc 支持哪些sink?是否支持sink到开启了update的hive?


目前有建设近实时数仓的需求,需要支持在hive中join日志数据和业务数据。
基于日志的数据已经通过flink-sql加载到hive(分钟级延迟),但是对于存储于MySQL中的业务数据,使用flink-sql cdc是否能够近实时更新到hive呢?如果不可以,是否有其他方案?
Reply | Threaded
Open this post in threaded view
|

Re: flink-sql cdc 支持哪些sink?是否支持sink到开启了update的hive

刘大龙
CDC数据Hive本身目前不支持更新,需要看一下数据湖方案,比如Hudi或Iceberg


> -----原始邮件-----
> 发件人: MuChen <[hidden email]>
> 发送时间: 2020-09-15 17:00:45 (星期二)
> 收件人: user-zh <[hidden email]>
> 抄送:
> 主题: flink-sql cdc 支持哪些sink?是否支持sink到开启了update的hive
>
> hi,all:
> &nbsp; &nbsp; 如题:flink-sql cdc 支持哪些sink?是否支持sink到开启了update的hive?
>
>
> 目前有建设近实时数仓的需求,需要支持在hive中join日志数据和业务数据。
> 基于日志的数据已经通过flink-sql加载到hive(分钟级延迟),但是对于存储于MySQL中的业务数据,使用flink-sql cdc是否能够近实时更新到hive呢?如果不可以,是否有其他方案?


------------------------------