flink canal-json 如何获取每条数据是updata insert delete

[air23]

你好
flink canal-json 如何获取每条数据是updata insert delete   ,我ddl插件kafka表 用对应的type取 都是为null
这个操作类型 有办法取到吗？谢谢

[Jark]

如果要抽取对应的 type，需要用 format = json， 把 json 的完整数据结构在 DDL 中声明出来（包括 type)。

目前 canal-json 是自动将 changelog 转成了 Flink 的 insert/update/delete，而这个 change
flag 目前是不对用户暴露的。

Best,
Jark

On Fri, 25 Sep 2020 at 09:39, air23 <[hidden email]> wrote:

> 你好
> flink canal-json 如何获取每条数据是updata insert delete   ,我ddl插件kafka表 用对应的type取
> 都是为null
> 这个操作类型 有办法取到吗？谢谢
>
>

[Michael Ran]

我们也想用，能暴露一个出来不- -
在 2020-09-25 10:39:12，"Jark Wu" <[hidden email]> 写道：

>如果要抽取对应的 type，需要用 format = json， 把 json 的完整数据结构在 DDL 中声明出来（包括 type)。
>
>目前 canal-json 是自动将 changelog 转成了 Flink 的 insert/update/delete，而这个 change
>flag 目前是不对用户暴露的。
>
>Best,
>Jark
>
>On Fri, 25 Sep 2020 at 09:39, air23 <[hidden email]> wrote:
>
>> 你好
>> flink canal-json 如何获取每条数据是updata insert delete   ,我ddl插件kafka表 用对应的type取
>> 都是为null
>> 这个操作类型 有办法取到吗？谢谢
>>
>>

[air23]

你好 ，
我不用canal-json接收了。使用flink-cdc功能，我想请教一下 我想把所有的维表都是用cdc加载，大约有10张左右，然后一个主流cdc表 去做维表join ，
这样会很影响性能吗。是否需要配置checkpoint，所有的join都在flink里面 ，打个比方：
cdc主表（订单表）， cdc（用户，地区，物流，.....等10张维度表）
然后用 订单表 join 这些维度表 打宽数据，这样一个很多的join ，实际操作可行吗？





















在 2020-09-25 10:39:12，"Jark Wu" <[hidden email]> 写道：

>如果要抽取对应的 type，需要用 format = json， 把 json 的完整数据结构在 DDL 中声明出来（包括 type)。
>
>目前 canal-json 是自动将 changelog 转成了 Flink 的 insert/update/delete，而这个 change
>flag 目前是不对用户暴露的。
>
>Best,
>Jark
>
>On Fri, 25 Sep 2020 at 09:39, air23 <[hidden email]> wrote:
>
>> 你好
>> flink canal-json 如何获取每条数据是updata insert delete   ,我ddl插件kafka表 用对应的type取
>> 都是为null
>> 这个操作类型 有办法取到吗？谢谢
>>
>>