Flink SQL Map类型字段大小写不敏感支持

classic Classic list List threaded Threaded
7 messages Options
Reply | Threaded
Open this post in threaded view
|

Flink SQL Map类型字段大小写不敏感支持

zilong xiao
如题,在业务中有遇到过在Map类型字段中有表示同一个含义但是大小写不一致的情况,比如有个Map字段 my_map,里面可能存在key
aB,ab,Ab....,在SQL中取值时能否能做到大小写不敏感呢,my_map['ab'] 能取所有相关key的值
Reply | Threaded
Open this post in threaded view
|

Re: Flink SQL Map类型字段大小写不敏感支持

Danny Chan
您好 现在 Flink SQL 是大小写敏感的 目前还没有计划开启大小写不敏感。

Best,
Danny Chan
在 2020年8月21日 +0800 AM11:04,zilong xiao <[hidden email]>,写道:
> 如题,在业务中有遇到过在Map类型字段中有表示同一个含义但是大小写不一致的情况,比如有个Map字段 my_map,里面可能存在key
> aB,ab,Ab....,在SQL中取值时能否能做到大小写不敏感呢,my_map['ab'] 能取所有相关key的值
Reply | Threaded
Open this post in threaded view
|

Re: Flink SQL Map类型字段大小写不敏感支持

zilong xiao
这个有相关的issue可以follow吗?

Danny Chan <[hidden email]> 于2020年8月26日周三 下午8:42写道:

> 您好 现在 Flink SQL 是大小写敏感的 目前还没有计划开启大小写不敏感。
>
> Best,
> Danny Chan
> 在 2020年8月21日 +0800 AM11:04,zilong xiao <[hidden email]>,写道:
> > 如题,在业务中有遇到过在Map类型字段中有表示同一个含义但是大小写不一致的情况,比如有个Map字段 my_map,里面可能存在key
> > aB,ab,Ab....,在SQL中取值时能否能做到大小写不敏感呢,my_map['ab'] 能取所有相关key的值
>
Reply | Threaded
Open this post in threaded view
|

Re: Flink SQL Map类型字段大小写不敏感支持

Leonard Xu
Hi,zilong

之前我建了一个issue[1]支持大小写敏感, 有了个初步的PR,但是社区想做全套,字段名,表名,catalog名都统一解决,所以还没支持

祝好
Leonard
[1] https://issues.apache.org/jira/browse/FLINK-16175?filter=12347488 <https://issues.apache.org/jira/browse/FLINK-16175?filter=12347488>

> 在 2020年8月26日,20:47,zilong xiao <[hidden email]> 写道:
>
> 这个有相关的issue可以follow吗?
>
> Danny Chan <[hidden email]> 于2020年8月26日周三 下午8:42写道:
>
>> 您好 现在 Flink SQL 是大小写敏感的 目前还没有计划开启大小写不敏感。
>>
>> Best,
>> Danny Chan
>> 在 2020年8月21日 +0800 AM11:04,zilong xiao <[hidden email]>,写道:
>>> 如题,在业务中有遇到过在Map类型字段中有表示同一个含义但是大小写不一致的情况,比如有个Map字段 my_map,里面可能存在key
>>> aB,ab,Ab....,在SQL中取值时能否能做到大小写不敏感呢,my_map['ab'] 能取所有相关key的值
>>

Reply | Threaded
Open this post in threaded view
|

Re: Flink SQL Map类型字段大小写不敏感支持

zilong xiao
好的,了解了,谢谢啦~

Leonard Xu <[hidden email]> 于2020年8月26日周三 下午9:26写道:

> Hi,zilong
>
> 之前我建了一个issue[1]支持大小写敏感, 有了个初步的PR,但是社区想做全套,字段名,表名,catalog名都统一解决,所以还没支持
>
> 祝好
> Leonard
> [1] https://issues.apache.org/jira/browse/FLINK-16175?filter=12347488 <
> https://issues.apache.org/jira/browse/FLINK-16175?filter=12347488>
>
> > 在 2020年8月26日,20:47,zilong xiao <[hidden email]> 写道:
> >
> > 这个有相关的issue可以follow吗?
> >
> > Danny Chan <[hidden email]> 于2020年8月26日周三 下午8:42写道:
> >
> >> 您好 现在 Flink SQL 是大小写敏感的 目前还没有计划开启大小写不敏感。
> >>
> >> Best,
> >> Danny Chan
> >> 在 2020年8月21日 +0800 AM11:04,zilong xiao <[hidden email]>,写道:
> >>> 如题,在业务中有遇到过在Map类型字段中有表示同一个含义但是大小写不一致的情况,比如有个Map字段 my_map,里面可能存在key
> >>> aB,ab,Ab....,在SQL中取值时能否能做到大小写不敏感呢,my_map['ab'] 能取所有相关key的值
> >>
>
>
Reply | Threaded
Open this post in threaded view
|

Re: Flink SQL Map类型字段大小写不敏感支持

Jark
Administrator
额,我觉得楼上的理解错楼主的意思了吧。

如果我理解的没错,楼主的意思是取 MAP 中的值的时候,key 能忽略大小写。 比如 my_map['ab'] 能取到  'aB', 'Ab' 的数据。

我觉得这个需求有点违反 map 的行为了,在所有的编程语言中,map 的 key 都是只能对应唯一一个 value 的,大小写要严格匹配的。
如果想要实现这种效果,你可以先将原先的 map 转成小写后的 key,value 为原先 'aB', 'Ab' ...  的 value list。


Best,
Jark





On Thu, 27 Aug 2020 at 09:56, zilong xiao <[hidden email]> wrote:

> 好的,了解了,谢谢啦~
>
> Leonard Xu <[hidden email]> 于2020年8月26日周三 下午9:26写道:
>
> > Hi,zilong
> >
> > 之前我建了一个issue[1]支持大小写敏感, 有了个初步的PR,但是社区想做全套,字段名,表名,catalog名都统一解决,所以还没支持
> >
> > 祝好
> > Leonard
> > [1] https://issues.apache.org/jira/browse/FLINK-16175?filter=12347488 <
> > https://issues.apache.org/jira/browse/FLINK-16175?filter=12347488>
> >
> > > 在 2020年8月26日,20:47,zilong xiao <[hidden email]> 写道:
> > >
> > > 这个有相关的issue可以follow吗?
> > >
> > > Danny Chan <[hidden email]> 于2020年8月26日周三 下午8:42写道:
> > >
> > >> 您好 现在 Flink SQL 是大小写敏感的 目前还没有计划开启大小写不敏感。
> > >>
> > >> Best,
> > >> Danny Chan
> > >> 在 2020年8月21日 +0800 AM11:04,zilong xiao <[hidden email]>,写道:
> > >>> 如题,在业务中有遇到过在Map类型字段中有表示同一个含义但是大小写不一致的情况,比如有个Map字段 my_map,里面可能存在key
> > >>> aB,ab,Ab....,在SQL中取值时能否能做到大小写不敏感呢,my_map['ab'] 能取所有相关key的值
> > >>
> >
> >
>
Reply | Threaded
Open this post in threaded view
|

Re: Flink SQL Map类型字段大小写不敏感支持

zilong xiao
是的,就是希望能忽略大小写,有尝试过用UDF去支持忽略大小写,但是取值的效率会比较低,然后脑洞比较大,跑来社区问问未来有没有可能在定义表DDL时,提供一个可选配置,用于开关是否忽略大小写,不过感觉这个可能不太好搞吧,自己的一个小脑洞而已,还是非常感谢几位大佬的回复~

Jark Wu <[hidden email]> 于2020年8月27日周四 下午8:01写道:

> 额,我觉得楼上的理解错楼主的意思了吧。
>
> 如果我理解的没错,楼主的意思是取 MAP 中的值的时候,key 能忽略大小写。 比如 my_map['ab'] 能取到  'aB', 'Ab'
> 的数据。
>
> 我觉得这个需求有点违反 map 的行为了,在所有的编程语言中,map 的 key 都是只能对应唯一一个 value 的,大小写要严格匹配的。
> 如果想要实现这种效果,你可以先将原先的 map 转成小写后的 key,value 为原先 'aB', 'Ab' ...  的 value list。
>
>
> Best,
> Jark
>
>
>
>
>
> On Thu, 27 Aug 2020 at 09:56, zilong xiao <[hidden email]> wrote:
>
> > 好的,了解了,谢谢啦~
> >
> > Leonard Xu <[hidden email]> 于2020年8月26日周三 下午9:26写道:
> >
> > > Hi,zilong
> > >
> > > 之前我建了一个issue[1]支持大小写敏感, 有了个初步的PR,但是社区想做全套,字段名,表名,catalog名都统一解决,所以还没支持
> > >
> > > 祝好
> > > Leonard
> > > [1] https://issues.apache.org/jira/browse/FLINK-16175?filter=12347488
> <
> > > https://issues.apache.org/jira/browse/FLINK-16175?filter=12347488>
> > >
> > > > 在 2020年8月26日,20:47,zilong xiao <[hidden email]> 写道:
> > > >
> > > > 这个有相关的issue可以follow吗?
> > > >
> > > > Danny Chan <[hidden email]> 于2020年8月26日周三 下午8:42写道:
> > > >
> > > >> 您好 现在 Flink SQL 是大小写敏感的 目前还没有计划开启大小写不敏感。
> > > >>
> > > >> Best,
> > > >> Danny Chan
> > > >> 在 2020年8月21日 +0800 AM11:04,zilong xiao <[hidden email]>,写道:
> > > >>> 如题,在业务中有遇到过在Map类型字段中有表示同一个含义但是大小写不一致的情况,比如有个Map字段 my_map,里面可能存在key
> > > >>> aB,ab,Ab....,在SQL中取值时能否能做到大小写不敏感呢,my_map['ab'] 能取所有相关key的值
> > > >>
> > >
> > >
> >
>