Flink SQL CDC 的实时数据同步方案，替代debezium的问题

[tonychen]

Hi everyone,

上周云邪的分享中，在总结FLink CDC应用场景时的第二部分，谈到“也可以用 Flink 替代 Debezium（Canal），由Flink同步变更少恒句到kafka，Flink统一ETL流程”

这部分后面没有DEMO，官方文档中也没有相应的说明，哪位大佬用过，能给个思路吗，谢谢


Best,
TonyChen

[Jark]

Hi,

这个就是 Demo3: Streaming Changes to Kafka 哈~

On Wed, 12 Aug 2020 at 09:00, 陈韬 <[hidden email]> wrote:

> Hi everyone,
>
> 上周云邪的分享中，在总结FLink CDC应用场景时的第二部分，谈到“也可以用 Flink 替代
> Debezium（Canal），由Flink同步变更少恒句到kafka，Flink统一ETL流程”
>
> 这部分后面没有DEMO，官方文档中也没有相应的说明，哪位大佬用过，能给个思路吗，谢谢
>
>
> Best,
> TonyChen
>
>

[Jark]

总结一下：

1. 如果你已经有 Debezium (Canal) + Kafka 的采集层 (E)，可以使用 Flink 作为计算层 (T) 和传输层 (L)
    Demo1: Flink SQL CDC + JDBC Connector

2. 也可以用 Flink 替代 Debezium (Canal)，由 Flink 同步变更数据到 Kafka，Flink 统一 ETL 流程
    Demo3: Streaming Changes to Kafka

3. 如果不需要 Kafka 数据缓存，可以由 Flink 直接同步变更数据到目的地，Flink 统一 ETL 流程
    Demo2: CDC Streaming ETL


On Wed, 12 Aug 2020 at 10:59, Jark Wu <[hidden email]> wrote:

> Hi,
>
> 这个就是 Demo3: Streaming Changes to Kafka 哈~
>
> On Wed, 12 Aug 2020 at 09:00, 陈韬 <[hidden email]> wrote:
>
>> Hi everyone,
>>
>> 上周云邪的分享中，在总结FLink CDC应用场景时的第二部分，谈到“也可以用 Flink 替代
>> Debezium（Canal），由Flink同步变更少恒句到kafka，Flink统一ETL流程”
>>
>> 这部分后面没有DEMO，官方文档中也没有相应的说明，哪位大佬用过，能给个思路吗，谢谢
>>
>>
>> Best,
>> TonyChen
>>
>>

[tonychen]

好的，刚刚有复习了下视频，理解了。谢谢


Best,
TonyChen

> 2020年8月12日 上午11:00，Jark Wu <[hidden email]> 写道：
>
> 总结一下：
>
> 1. 如果你已经有 Debezium (Canal) + Kafka 的采集层 (E)，可以使用 Flink 作为计算层 (T) 和传输层 (L)
>    Demo1: Flink SQL CDC + JDBC Connector
>
> 2. 也可以用 Flink 替代 Debezium (Canal)，由 Flink 同步变更数据到 Kafka，Flink 统一 ETL 流程
>    Demo3: Streaming Changes to Kafka
>
> 3. 如果不需要 Kafka 数据缓存，可以由 Flink 直接同步变更数据到目的地，Flink 统一 ETL 流程
>    Demo2: CDC Streaming ETL
>
>
> On Wed, 12 Aug 2020 at 10:59, Jark Wu <[hidden email]> wrote:
>
>> Hi,
>>
>> 这个就是 Demo3: Streaming Changes to Kafka 哈~
>>
>> On Wed, 12 Aug 2020 at 09:00, 陈韬 <[hidden email]> wrote:
>>
>>> Hi everyone,
>>>
>>> 上周云邪的分享中，在总结FLink CDC应用场景时的第二部分，谈到“也可以用 Flink 替代
>>> Debezium（Canal），由Flink同步变更少恒句到kafka，Flink统一ETL流程”
>>>
>>> 这部分后面没有DEMO，官方文档中也没有相应的说明，哪位大佬用过，能给个思路吗，谢谢
>>>
>>>
>>> Best,
>>> TonyChen
>>>
>>>