Flink1.10.1关于CliFronted命令行解析顺序引发的BUG

classic Classic list List threaded Threaded
2 messages Options
111
Reply | Threaded
Open this post in threaded view
|

Flink1.10.1关于CliFronted命令行解析顺序引发的BUG

111
Hi,


今天再升级Flink1.10.0到Flink1.10.1时,发现我们搭建的开发系统在使用YarnSession模式时无法正常工作,目前的架构是:


[自己的平台]—发送sql--> [sql-gateway]—提交jobgraph-->[yarn]


跟踪代码发现,sql-gateway在启动时,需要调用CliFronted的loadCustomCommandLines来解析命令行参数。


在1.10.0版本中,命令行的顺序是:FlinkYarnSessionCLI, ExecutorCLI, DefaultCLI
在1.10.1版本中,命令行的顺序是:ExecutorCLI, FlinkYarnSessionCLI, DefaultCLI


修改原因是:https://issues.apache.org/jira/browse/FLINK-15852?jql=text%20~%20%22loadCustomCommandLines%22


这导致在解析Configuration的时候,sql-gateway无法定位到存储applicationId的配置文件(因为sql-gateway中仅适用第一个Active的commandLine)。


目前我这边的方案是改回原来的顺序,希望了解下官方的解决方案。


Best,
Xinghalo
Reply | Threaded
Open this post in threaded view
|

Re: Flink1.10.1关于CliFronted命令行解析顺序引发的BUG

zhisheng
可以去提个 Issue

111 <[hidden email]> 于2020年5月15日周五 下午5:19写道:

> Hi,
>
>
> 今天再升级Flink1.10.0到Flink1.10.1时,发现我们搭建的开发系统在使用YarnSession模式时无法正常工作,目前的架构是:
>
>
> [自己的平台]—发送sql--> [sql-gateway]—提交jobgraph-->[yarn]
>
>
> 跟踪代码发现,sql-gateway在启动时,需要调用CliFronted的loadCustomCommandLines来解析命令行参数。
>
>
> 在1.10.0版本中,命令行的顺序是:FlinkYarnSessionCLI, ExecutorCLI, DefaultCLI
> 在1.10.1版本中,命令行的顺序是:ExecutorCLI, FlinkYarnSessionCLI, DefaultCLI
>
>
> 修改原因是:
> https://issues.apache.org/jira/browse/FLINK-15852?jql=text%20~%20%22loadCustomCommandLines%22
>
>
>
> 这导致在解析Configuration的时候,sql-gateway无法定位到存储applicationId的配置文件(因为sql-gateway中仅适用第一个Active的commandLine)。
>
>
> 目前我这边的方案是改回原来的顺序,希望了解下官方的解决方案。
>
>
> Best,
> Xinghalo