CDC数据Hive本身目前不支持更新,需要看一下数据湖方案,比如Hudi或Iceberg
> -----原始邮件-----
> 发件人: MuChen <
[hidden email]>
> 发送时间: 2020-09-15 17:00:45 (星期二)
> 收件人: user-zh <
[hidden email]>
> 抄送:
> 主题: flink-sql cdc 支持哪些sink?是否支持sink到开启了update的hive
>
> hi,all:
> 如题:flink-sql cdc 支持哪些sink?是否支持sink到开启了update的hive?
>
>
> 目前有建设近实时数仓的需求,需要支持在hive中join日志数据和业务数据。
> 基于日志的数据已经通过flink-sql加载到hive(分钟级延迟),但是对于存储于MySQL中的业务数据,使用flink-sql cdc是否能够近实时更新到hive呢?如果不可以,是否有其他方案?
------------------------------