Flink SQL中动态嵌套字段如何定义DDL

classic Classic list List threaded Threaded
3 messages Options
111
Reply | Threaded
Open this post in threaded view
|

Flink SQL中动态嵌套字段如何定义DDL

111
Hi,
我们在使用streamsets作为CDC工具,输出到kafka中的内容是嵌套多变的类型,如:
{database:a, table: b, type:update, data:{a:1,b:2,c:3}}
{database:a, table: c, type:update, data:{c:1,d:2}}
请问这种类型该如何定义DDL?


Best,
Xinghalo

Reply | Threaded
Open this post in threaded view
|

Re: Flink SQL中动态嵌套字段如何定义DDL

Benchao Li
可以尝试把data字段定义为一个map类型。

111 <[hidden email]> 于2020年3月31日周二 下午2:56写道:

> Hi,
> 我们在使用streamsets作为CDC工具,输出到kafka中的内容是嵌套多变的类型,如:
> {database:a, table: b, type:update, data:{a:1,b:2,c:3}}
> {database:a, table: c, type:update, data:{c:1,d:2}}
> 请问这种类型该如何定义DDL?
>
>
> Best,
> Xinghalo
>
>

--

Benchao Li
School of Electronics Engineering and Computer Science, Peking University
Tel:+86-15650713730
Email: [hidden email]; [hidden email]
111
Reply | Threaded
Open this post in threaded view
|

回复: Flink SQL中动态嵌套字段如何定义DDL

111


Hi,
嗯,之前尝试了一下,没有写属性,所以没有值显示,还以为是不支持MAP。
使用的时候data[‘a’]就好了
Best,
Xinghalo
在2020年03月31日 14:59,Benchao Li<[hidden email]> 写道:
可以尝试把data字段定义为一个map类型。

111 <[hidden email]> 于2020年3月31日周二 下午2:56写道:

Hi,
我们在使用streamsets作为CDC工具,输出到kafka中的内容是嵌套多变的类型,如:
{database:a, table: b, type:update, data:{a:1,b:2,c:3}}
{database:a, table: c, type:update, data:{c:1,d:2}}
请问这种类型该如何定义DDL?


Best,
Xinghalo



--

Benchao Li
School of Electronics Engineering and Computer Science, Peking University
Tel:+86-15650713730
Email: [hidden email]; [hidden email]