Flink SQL Row里嵌套Array<Row>该如何用DDL定义?

[zilong xiao]

如题，尝试用以下方式定义时会遇到异常，求社区大佬指点正确的打开姿势。

[Benchao Li-2]

你的图片挂了，可以将图片上传到第三方的图床再发出来；或者直接发送文本。

zilong xiao <[hidden email]> 于2020年11月24日周二 上午10:49写道：

> [image: image.png]
> 如题，尝试用以下方式定义时会遇到异常，求社区大佬指点正确的打开姿势。
>


--

Best,
Benchao Li

[zilong xiao]

Hi Benchao，图片可以看https://imgchr.com/i/DtoGge，期待您的解答~

Benchao Li <[hidden email]> 于2020年11月24日周二 下午2:49写道：

> 你的图片挂了，可以将图片上传到第三方的图床再发出来；或者直接发送文本。
>
> zilong xiao <[hidden email]> 于2020年11月24日周二 上午10:49写道：
>
> > [image: image.png]
> > 如题，尝试用以下方式定义时会遇到异常，求社区大佬指点正确的打开姿势。
> >
>
>
> --
>
> Best,
> Benchao Li
>

[Benchao Li-2]

看起来你的DDL写的没有什么问题。

你用的是哪个Flink版本呢？
此外就是可以发下更完整的异常栈么？

zilong xiao <[hidden email]> 于2020年11月24日周二 下午2:54写道：

> Hi Benchao，图片可以看https://imgchr.com/i/DtoGge，期待您的解答~
>
> Benchao Li <[hidden email]> 于2020年11月24日周二 下午2:49写道：
>
> > 你的图片挂了，可以将图片上传到第三方的图床再发出来；或者直接发送文本。
> >
> > zilong xiao <[hidden email]> 于2020年11月24日周二 上午10:49写道：
> >
> > > [image: image.png]
> > > 如题，尝试用以下方式定义时会遇到异常，求社区大佬指点正确的打开姿势。
> > >
> >
> >
> > --
> >
> > Best,
> > Benchao Li
> >
>

--

Best,
Benchao Li

[zilong xiao]

用的Flink1.11 不过是用的别人写的format，估计是这里面有bug吧，
https://github.com/yangyichao-mango/flink-protobuf

Benchao Li <[hidden email]> 于2020年11月24日周二 下午3:43写道：

> 看起来你的DDL写的没有什么问题。
>
> 你用的是哪个Flink版本呢？
> 此外就是可以发下更完整的异常栈么？
>
> zilong xiao <[hidden email]> 于2020年11月24日周二 下午2:54写道：
>
> > Hi Benchao，图片可以看https://imgchr.com/i/DtoGge，期待您的解答~
> >
> > Benchao Li <[hidden email]> 于2020年11月24日周二 下午2:49写道：
> >
> > > 你的图片挂了，可以将图片上传到第三方的图床再发出来；或者直接发送文本。
> > >
> > > zilong xiao <[hidden email]> 于2020年11月24日周二 上午10:49写道：
> > >
> > > > [image: image.png]
> > > > 如题，尝试用以下方式定义时会遇到异常，求社区大佬指点正确的打开姿势。
> > > >
> > >
> > >
> > > --
> > >
> > > Best,
> > > Benchao Li
> > >
> >
>
>
> --
>
> Best,
> Benchao Li
>

[Benchao Li-2]

看起来这个format是用的自动推导schema，而不是用的DDL写的schema。

zilong xiao <[hidden email]> 于2020年11月24日周二 下午4:13写道：

> 用的Flink1.11 不过是用的别人写的format，估计是这里面有bug吧，
> https://github.com/yangyichao-mango/flink-protobuf
>
> Benchao Li <[hidden email]> 于2020年11月24日周二 下午3:43写道：
>
> > 看起来你的DDL写的没有什么问题。
> >
> > 你用的是哪个Flink版本呢？
> > 此外就是可以发下更完整的异常栈么？
> >
> > zilong xiao <[hidden email]> 于2020年11月24日周二 下午2:54写道：
> >
> > > Hi Benchao，图片可以看https://imgchr.com/i/DtoGge，期待您的解答~
> > >
> > > Benchao Li <[hidden email]> 于2020年11月24日周二 下午2:49写道：
> > >
> > > > 你的图片挂了，可以将图片上传到第三方的图床再发出来；或者直接发送文本。
> > > >
> > > > zilong xiao <[hidden email]> 于2020年11月24日周二 上午10:49写道：
> > > >
> > > > > [image: image.png]
> > > > > 如题，尝试用以下方式定义时会遇到异常，求社区大佬指点正确的打开姿势。
> > > > >
> > > >
> > > >
> > > > --
> > > >
> > > > Best,
> > > > Benchao Li
> > > >
> > >
> >
> >
> > --
> >
> > Best,
> > Benchao Li
> >
>

--

Best,
Benchao Li

[zilong xiao]

这是从哪看出来的呢 求指点，另外如果想用DDL写的schema 应该怎么做呢？

Benchao Li <[hidden email]> 于2020年11月24日周二 下午4:33写道：

> 看起来这个format是用的自动推导schema，而不是用的DDL写的schema。
>
> zilong xiao <[hidden email]> 于2020年11月24日周二 下午4:13写道：
>
> > 用的Flink1.11 不过是用的别人写的format，估计是这里面有bug吧，
> > https://github.com/yangyichao-mango/flink-protobuf
> >
> > Benchao Li <[hidden email]> 于2020年11月24日周二 下午3:43写道：
> >
> > > 看起来你的DDL写的没有什么问题。
> > >
> > > 你用的是哪个Flink版本呢？
> > > 此外就是可以发下更完整的异常栈么？
> > >
> > > zilong xiao <[hidden email]> 于2020年11月24日周二 下午2:54写道：
> > >
> > > > Hi Benchao，图片可以看https://imgchr.com/i/DtoGge，期待您的解答~
> > > >
> > > > Benchao Li <[hidden email]> 于2020年11月24日周二 下午2:49写道：
> > > >
> > > > > 你的图片挂了，可以将图片上传到第三方的图床再发出来；或者直接发送文本。
> > > > >
> > > > > zilong xiao <[hidden email]> 于2020年11月24日周二 上午10:49写道：
> > > > >
> > > > > > [image: image.png]
> > > > > > 如题，尝试用以下方式定义时会遇到异常，求社区大佬指点正确的打开姿势。
> > > > > >
> > > > >
> > > > >
> > > > > --
> > > > >
> > > > > Best,
> > > > > Benchao Li
> > > > >
> > > >
> > >
> > >
> > > --
> > >
> > > Best,
> > > Benchao Li
> > >
> >
>
>
> --
>
> Best,
> Benchao Li
>

[Benchao Li-2]

从这一行代码看出来的：
https://github.com/yangyichao-mango/flink-protobuf/blob/616051d74d0973136f931189fd29aaaabd78c0e5/src/main/java/flink/formats/protobuf/ProtobufRowDeserializationSchema.java#L107

现在社区还没有正式支持ProtoBuf Format，不过已经有相关issue和讨论了[1]

[1] https://issues.apache.org/jira/browse/FLINK-18202

zilong xiao <[hidden email]> 于2020年11月24日周二 下午4:46写道：

> 这是从哪看出来的呢 求指点，另外如果想用DDL写的schema 应该怎么做呢？
>
> Benchao Li <[hidden email]> 于2020年11月24日周二 下午4:33写道：
>
> > 看起来这个format是用的自动推导schema，而不是用的DDL写的schema。
> >
> > zilong xiao <[hidden email]> 于2020年11月24日周二 下午4:13写道：
> >
> > > 用的Flink1.11 不过是用的别人写的format，估计是这里面有bug吧，
> > > https://github.com/yangyichao-mango/flink-protobuf
> > >
> > > Benchao Li <[hidden email]> 于2020年11月24日周二 下午3:43写道：
> > >
> > > > 看起来你的DDL写的没有什么问题。
> > > >
> > > > 你用的是哪个Flink版本呢？
> > > > 此外就是可以发下更完整的异常栈么？
> > > >
> > > > zilong xiao <[hidden email]> 于2020年11月24日周二 下午2:54写道：
> > > >
> > > > > Hi Benchao，图片可以看https://imgchr.com/i/DtoGge，期待您的解答~
> > > > >
> > > > > Benchao Li <[hidden email]> 于2020年11月24日周二 下午2:49写道：
> > > > >
> > > > > > 你的图片挂了，可以将图片上传到第三方的图床再发出来；或者直接发送文本。
> > > > > >
> > > > > > zilong xiao <[hidden email]> 于2020年11月24日周二 上午10:49写道：
> > > > > >
> > > > > > > [image: image.png]
> > > > > > > 如题，尝试用以下方式定义时会遇到异常，求社区大佬指点正确的打开姿势。
> > > > > > >
> > > > > >
> > > > > >
> > > > > > --
> > > > > >
> > > > > > Best,
> > > > > > Benchao Li
> > > > > >
> > > > >
> > > >
> > > >
> > > > --
> > > >
> > > > Best,
> > > > Benchao Li
> > > >
> > >
> >
> >
> > --
> >
> > Best,
> > Benchao Li
> >
>

--

Best,
Benchao Li

[zilong xiao]

好的，感谢Benchao的解答~

Benchao Li <[hidden email]> 于2020年11月24日周二 下午7:49写道：

> 从这一行代码看出来的：
>
> https://github.com/yangyichao-mango/flink-protobuf/blob/616051d74d0973136f931189fd29aaaabd78c0e5/src/main/java/flink/formats/protobuf/ProtobufRowDeserializationSchema.java#L107
>
> 现在社区还没有正式支持ProtoBuf Format，不过已经有相关issue和讨论了[1]
>
> [1] https://issues.apache.org/jira/browse/FLINK-18202
>
> zilong xiao <[hidden email]> 于2020年11月24日周二 下午4:46写道：
>
> > 这是从哪看出来的呢 求指点，另外如果想用DDL写的schema 应该怎么做呢？
> >
> > Benchao Li <[hidden email]> 于2020年11月24日周二 下午4:33写道：
> >
> > > 看起来这个format是用的自动推导schema，而不是用的DDL写的schema。
> > >
> > > zilong xiao <[hidden email]> 于2020年11月24日周二 下午4:13写道：
> > >
> > > > 用的Flink1.11 不过是用的别人写的format，估计是这里面有bug吧，
> > > > https://github.com/yangyichao-mango/flink-protobuf
> > > >
> > > > Benchao Li <[hidden email]> 于2020年11月24日周二 下午3:43写道：
> > > >
> > > > > 看起来你的DDL写的没有什么问题。
> > > > >
> > > > > 你用的是哪个Flink版本呢？
> > > > > 此外就是可以发下更完整的异常栈么？
> > > > >
> > > > > zilong xiao <[hidden email]> 于2020年11月24日周二 下午2:54写道：
> > > > >
> > > > > > Hi Benchao，图片可以看https://imgchr.com/i/DtoGge，期待您的解答~
> > > > > >
> > > > > > Benchao Li <[hidden email]> 于2020年11月24日周二 下午2:49写道：
> > > > > >
> > > > > > > 你的图片挂了，可以将图片上传到第三方的图床再发出来；或者直接发送文本。
> > > > > > >
> > > > > > > zilong xiao <[hidden email]> 于2020年11月24日周二 上午10:49写道：
> > > > > > >
> > > > > > > > [image: image.png]
> > > > > > > > 如题，尝试用以下方式定义时会遇到异常，求社区大佬指点正确的打开姿势。
> > > > > > > >
> > > > > > >
> > > > > > >
> > > > > > > --
> > > > > > >
> > > > > > > Best,
> > > > > > > Benchao Li
> > > > > > >
> > > > > >
> > > > >
> > > > >
> > > > > --
> > > > >
> > > > > Best,
> > > > > Benchao Li
> > > > >
> > > >
> > >
> > >
> > > --
> > >
> > > Best,
> > > Benchao Li
> > >
> >
>
>
> --
>
> Best,
> Benchao Li
>