Flink 中类似 Struct 的数据结构

[Luan Cooper]

Hi

我在做 from Kafka to Hive by Flink 的数据持久化操作，操作方式是 Flink SQL
需要把某一些列，持久化为 Hive Struct 类型
但是发现 Flink Data Type 中没有对应的数据类型，想在社区确认下这个情况是这样的吗？有相关的 JIRA Issue 可以关注吗？

感谢

[Luan Cooper]

补充
标题纠正：Flink SQL 中类似 Struct 的数据结构

On Mon, Jul 1, 2019 at 4:00 PM Luan Cooper <[hidden email]> wrote:

> Hi
>
> 我在做 from Kafka to Hive by Flink 的数据持久化操作，操作方式是 Flink SQL
> 需要把某一些列，持久化为 Hive Struct 类型
> 但是发现 Flink Data Type 中没有对应的数据类型，想在社区确认下这个情况是这样的吗？有相关的 JIRA Issue 可以关注吗？
>
> 感谢
>

[huangjia]

同问 ： 这个类型如果不存在，可以使用自定义的TypeInformation。


| |
huangjia
|
|
[hidden email]
|
签名由网易邮箱大师定制
在2019年7月1日 16:20，Luan Cooper<[hidden email]> 写道：
补充
标题纠正：Flink SQL 中类似 Struct 的数据结构

On Mon, Jul 1, 2019 at 4:00 PM Luan Cooper <[hidden email]> wrote:

Hi

我在做 from Kafka to Hive by Flink 的数据持久化操作，操作方式是 Flink SQL
需要把某一些列，持久化为 Hive Struct 类型
但是发现 Flink Data Type 中没有对应的数据类型，想在社区确认下这个情况是这样的吗？有相关的 JIRA Issue 可以关注吗？

感谢

[yelun]

> 在 2019年7月1日，下午4:20，Luan Cooper <[hidden email]> 写道：
>
> 补充
> 标题纠正：Flink SQL 中类似 Struct 的数据结构
>
> On Mon, Jul 1, 2019 at 4:00 PM Luan Cooper <[hidden email]> wrote:
>
>> Hi
>>
>> 我在做 from Kafka to Hive by Flink 的数据持久化操作，操作方式是 Flink SQL
>> 需要把某一些列，持久化为 Hive Struct 类型
>> 但是发现 Flink Data Type 中没有对应的数据类型，想在社区确认下这个情况是这样的吗？有相关的 JIRA Issue 可以关注吗？
>>
>> 感谢
>>

你这种struct类型怎么像是Apache ORC的struct？

[Luan Cooper]

Hi huangjia

看起来是真的没有，我看看 1.9 的 Struct 实现版本

orc/parquet/avro 都有 struct 啊

感谢

On Mon, Jul 1, 2019 at 5:36 PM yelun <[hidden email]> wrote:

>
>
> > 在 2019年7月1日，下午4:20，Luan Cooper <[hidden email]> 写道：
> >
> > 补充
> > 标题纠正：Flink SQL 中类似 Struct 的数据结构
> >
> > On Mon, Jul 1, 2019 at 4:00 PM Luan Cooper <[hidden email]> wrote:
> >
> >> Hi
> >>
> >> 我在做 from Kafka to Hive by Flink 的数据持久化操作，操作方式是 Flink SQL
> >> 需要把某一些列，持久化为 Hive Struct 类型
> >> 但是发现 Flink Data Type 中没有对应的数据类型，想在社区确认下这个情况是这样的吗？有相关的 JIRA Issue 可以关注吗？
> >>
> >> 感谢
> >>
>
> 你这种struct类型怎么像是Apache ORC的struct？

[Bowen Li]

Hive Struct 在1.9.0中对应 Flink DataTypes.Row. 代码可参见
https://github.com/apache/flink/blob/master/flink-connectors/flink-connector-hive/src/main/java/org/apache/flink/table/catalog/hive/util/HiveTypeUtil.java

On Mon, Jul 1, 2019 at 10:49 PM Luan Cooper <[hidden email]> wrote:

> Hi huangjia
>
> 看起来是真的没有，我看看 1.9 的 Struct 实现版本
>
> orc/parquet/avro 都有 struct 啊
>
> 感谢
>
> On Mon, Jul 1, 2019 at 5:36 PM yelun <[hidden email]> wrote:
>
> >
> >
> > > 在 2019年7月1日，下午4:20，Luan Cooper <[hidden email]> 写道：
> > >
> > > 补充
> > > 标题纠正：Flink SQL 中类似 Struct 的数据结构
> > >
> > > On Mon, Jul 1, 2019 at 4:00 PM Luan Cooper <[hidden email]> wrote:
> > >
> > >> Hi
> > >>
> > >> 我在做 from Kafka to Hive by Flink 的数据持久化操作，操作方式是 Flink SQL
> > >> 需要把某一些列，持久化为 Hive Struct 类型
> > >> 但是发现 Flink Data Type 中没有对应的数据类型，想在社区确认下这个情况是这样的吗？有相关的 JIRA Issue
> 可以关注吗？
> > >>
> > >> 感谢
> > >>
> >
> > 你这种struct类型怎么像是Apache ORC的struct？
>

[Luan Cooper]

感谢

On Mon, Jul 8, 2019 at 2:53 AM Bowen Li <[hidden email]> wrote:

> Hive Struct 在1.9.0中对应 Flink DataTypes.Row. 代码可参见
>
> https://github.com/apache/flink/blob/master/flink-connectors/flink-connector-hive/src/main/java/org/apache/flink/table/catalog/hive/util/HiveTypeUtil.java
>
> On Mon, Jul 1, 2019 at 10:49 PM Luan Cooper <[hidden email]> wrote:
>
> > Hi huangjia
> >
> > 看起来是真的没有，我看看 1.9 的 Struct 实现版本
> >
> > orc/parquet/avro 都有 struct 啊
> >
> > 感谢
> >
> > On Mon, Jul 1, 2019 at 5:36 PM yelun <[hidden email]> wrote:
> >
> > >
> > >
> > > > 在 2019年7月1日，下午4:20，Luan Cooper <[hidden email]> 写道：
> > > >
> > > > 补充
> > > > 标题纠正：Flink SQL 中类似 Struct 的数据结构
> > > >
> > > > On Mon, Jul 1, 2019 at 4:00 PM Luan Cooper <[hidden email]>
> wrote:
> > > >
> > > >> Hi
> > > >>
> > > >> 我在做 from Kafka to Hive by Flink 的数据持久化操作，操作方式是 Flink SQL
> > > >> 需要把某一些列，持久化为 Hive Struct 类型
> > > >> 但是发现 Flink Data Type 中没有对应的数据类型，想在社区确认下这个情况是这样的吗？有相关的 JIRA Issue
> > 可以关注吗？
> > > >>
> > > >> 感谢
> > > >>
> > >
> > > 你这种struct类型怎么像是Apache ORC的struct？
> >
>