为什么要关闭calcite的隐式转换功能

classic Classic list List threaded Threaded
6 messages Options
Reply | Threaded
Open this post in threaded view
|

为什么要关闭calcite的隐式转换功能

stgztsw
目前flink sql,flink hive sql都不支持隐式转换功能。我们在调试的时候发现其实calcite本身是支持的。但是flink这边强制关闭了。而hive本身是支持隐式转换的。这导致我们的hive任务无法迁移到flink上执行。请问关闭的原因是什么?如果我们这边开启会带来什么问题吗?
Reply | Threaded
Open this post in threaded view
|

Re: 为什么要关闭calcite的隐式转换功能

Rui Li
Hi,

我理解可能是calcite隐式类型转换功能还比较新,暂时没有启用。不过即使开启
了跟hive的隐式转换逻辑也不一定完全一致,比如某些hive允许的转换calcite可能不允许。目前社区也在做hive语法兼容的工作,这个功能有了以后迁移hive任务会更容易。

On Wed, Dec 2, 2020 at 6:43 PM tangshiwei <[hidden email]>
wrote:

> 目前flink sql,flink hive
> sql都不支持隐式转换功能。我们在调试的时候发现其实calcite本身是支持的。但是flink这边强制关闭了。而hive本身是支持隐式转换的。这导致我们的hive任务无法迁移到flink上执行。请问关闭的原因是什么?如果我们这边开启会带来什么问题吗?



--
Best regards!
Rui Li
Reply | Threaded
Open this post in threaded view
|

Re: 为什么要关闭calcite的隐式转换功能

Jark
Administrator
In reply to this post by stgztsw
隐式转换功能,是一个非常重要的 public API ,需要经过社区仔细地讨论,例如哪些类型之间可以类型转换。
目前社区还没有规划这个功能,如果需要的话,可以在社区中开个 issue。

Best,
Jark

On Wed, 2 Dec 2020 at 18:33, stgztsw <[hidden email]> wrote:

> 目前flink sql,flink hive
> sql都不支持隐式转换功能。我们在调试的时候发现其实calcite本身是支持的。但是flink这边强制关闭了。而hive本身是支持隐式转换的。这导致我们的hive任务无法迁移到flink上执行。请问关闭的原因是什么?如果我们这边开启会带来什么问题吗?
Reply | Threaded
Open this post in threaded view
|

Re: 为什么要关闭calcite的隐式转换功能

stgztsw
我觉得既然社区准备兼容hive,隐式转换和其他hive的语法兼容还是必须的。实际生产环境里运行的hive
sql往往都是很复杂的,目前按flink对于hive的兼容程度,大部分的hivesql基本都无法运行成功。(其他欠缺的还有不支持bangEquel,
create table as 等等,这边就不一一列举了),希望社区能够对hive这块支持的更完善一点。



--
Sent from: http://apache-flink.147419.n8.nabble.com/
Reply | Threaded
Open this post in threaded view
|

Re: 为什么要关闭calcite的隐式转换功能

Jark
Administrator
社区已经开始 Hive query 语法兼容的设计讨论,可以关注下:

http://apache-flink-mailing-list-archive.1008284.n3.nabble.com/DISCUSS-FLIP-152-Hive-Query-Syntax-Compatibility-td46928.html

Best,
Jark

On Fri, 4 Dec 2020 at 15:37, stgztsw <[hidden email]> wrote:

> 我觉得既然社区准备兼容hive,隐式转换和其他hive的语法兼容还是必须的。实际生产环境里运行的hive
> sql往往都是很复杂的,目前按flink对于hive的兼容程度,大部分的hivesql基本都无法运行成功。(其他欠缺的还有不支持bangEquel,
> create table as 等等,这边就不一一列举了),希望社区能够对hive这块支持的更完善一点。
>
>
>
> --
> Sent from: http://apache-flink.147419.n8.nabble.com/
Reply | Threaded
Open this post in threaded view
|

Re: 为什么要关闭calcite的隐式转换功能

stgztsw
收到,期待~



--
Sent from: http://apache-flink.147419.n8.nabble.com/