flink-sql-gateway支持远程吗

classic Classic list List threaded Threaded
5 messages Options
Reply | Threaded
Open this post in threaded view
|

flink-sql-gateway支持远程吗

罗显宴
大佬们,我试过flinksql-client和flink-sql-gateway发现都是把代码提交到本地集群运行,好像不能提交到指定远程集群上执行任务,请问大佬们,怎么提交代码到远程集群运行


| |
15927482803
|
|
邮箱:[hidden email]
|

签名由 网易邮箱大师 定制
Reply | Threaded
Open this post in threaded view
|

Re: flink-sql-gateway支持远程吗

nick
可以试试zeppelin

罗显宴 <[hidden email]> 于2021年1月23日周六 上午11:19写道:

>
> 大佬们,我试过flinksql-client和flink-sql-gateway发现都是把代码提交到本地集群运行,好像不能提交到指定远程集群上执行任务,请问大佬们,怎么提交代码到远程集群运行
>
>
> | |
> 15927482803
> |
> |
> 邮箱:[hidden email]
> |
>
> 签名由 网易邮箱大师 定制
Reply | Threaded
Open this post in threaded view
|

Re: flink-sql-gateway支持远程吗

SebastianLiu
In reply to this post by 罗显宴
flink-sql-gateway在提交job时,会根据SPI加载executor,然后推断是local mode还是remote mode,
在remote mode下,根据FLINK_HOME 目录下config.sh推断的FLINK_CONF_DIR 寻找flink-conf.yaml,
其中的host, rest port决定了提交的远端集群

罗显宴 <[hidden email]> 于2021年1月23日周六 上午11:19写道:

>
> 大佬们,我试过flinksql-client和flink-sql-gateway发现都是把代码提交到本地集群运行,好像不能提交到指定远程集群上执行任务,请问大佬们,怎么提交代码到远程集群运行
>
>
> | |
> 15927482803
> |
> |
> 邮箱:[hidden email]
> |
>
> 签名由 网易邮箱大师 定制



--

*With kind regards
------------------------------------------------------------
Sebastian Liu 刘洋
Institute of Computing Technology, Chinese Academy of Science
Mobile\WeChat: +86—15201613655
E-mail: [hidden email] <[hidden email]>
QQ: 3239559*
Reply | Threaded
Open this post in threaded view
|

Re: flink-sql-gateway支持远程吗

zilong xiao
如果是yarn-pre-job,是如何提交到yarn集群的呢,跟host * rest port应该没关系了吧?

Sebastian Liu <[hidden email]> 于2021年1月27日周三 上午12:48写道:

> flink-sql-gateway在提交job时,会根据SPI加载executor,然后推断是local mode还是remote mode,
> 在remote mode下,根据FLINK_HOME 目录下config.sh推断的FLINK_CONF_DIR 寻找flink-conf.yaml,
> 其中的host, rest port决定了提交的远端集群
>
> 罗显宴 <[hidden email]> 于2021年1月23日周六 上午11:19写道:
>
> >
> >
> 大佬们,我试过flinksql-client和flink-sql-gateway发现都是把代码提交到本地集群运行,好像不能提交到指定远程集群上执行任务,请问大佬们,怎么提交代码到远程集群运行
> >
> >
> > | |
> > 15927482803
> > |
> > |
> > 邮箱:[hidden email]
> > |
> >
> > 签名由 网易邮箱大师 定制
>
>
>
> --
>
> *With kind regards
> ------------------------------------------------------------
> Sebastian Liu 刘洋
> Institute of Computing Technology, Chinese Academy of Science
> Mobile\WeChat: +86—15201613655
> E-mail: [hidden email] <[hidden email]>
> QQ: 3239559*
>
Reply | Threaded
Open this post in threaded view
|

Re: flink-sql-gateway支持远程吗

SebastianLiu
Hi zilong,

sql gateway复用了很多底层API,其提交方式很多复用了flink client的逻辑。
针对提交模式,主要是看flink-conf.yaml中的的execution.config 配置, 关于这个配置
可以参考:org.apache.flink.configuration.DeploymentOptions#TARGET
如果是yarn-per-job, 需要配置为:“yarn-per-job”, 同时也依赖flink-conf.yaml中其他yarn的相关配置:
可参考:org.apache.flink.yarn.configuration.YarnConfigOptions

总结一下就是:
1. sql gateway找到正确的flink-conf.yaml, 取决于FLINK_HOME or FLINK_CONF_DIR.
2. 根据execution.config选择对应executor,然后不同模式依赖于flink-conf对应的提交相关配置


zilong xiao <[hidden email]> 于2021年1月27日周三 上午10:19写道:

> 如果是yarn-pre-job,是如何提交到yarn集群的呢,跟host * rest port应该没关系了吧?
>
> Sebastian Liu <[hidden email]> 于2021年1月27日周三 上午12:48写道:
>
> > flink-sql-gateway在提交job时,会根据SPI加载executor,然后推断是local mode还是remote mode,
> > 在remote mode下,根据FLINK_HOME 目录下config.sh推断的FLINK_CONF_DIR
> 寻找flink-conf.yaml,
> > 其中的host, rest port决定了提交的远端集群
> >
> > 罗显宴 <[hidden email]> 于2021年1月23日周六 上午11:19写道:
> >
> > >
> > >
> >
> 大佬们,我试过flinksql-client和flink-sql-gateway发现都是把代码提交到本地集群运行,好像不能提交到指定远程集群上执行任务,请问大佬们,怎么提交代码到远程集群运行
> > >
> > >
> > > | |
> > > 15927482803
> > > |
> > > |
> > > 邮箱:[hidden email]
> > > |
> > >
> > > 签名由 网易邮箱大师 定制
> >
> >
> >
> > --
> >
> > *With kind regards
> > ------------------------------------------------------------
> > Sebastian Liu 刘洋
> > Institute of Computing Technology, Chinese Academy of Science
> > Mobile\WeChat: +86—15201613655
> > E-mail: [hidden email] <[hidden email]>
> > QQ: 3239559*
> >
>


--

*With kind regards
------------------------------------------------------------
Sebastian Liu 刘洋
Institute of Computing Technology, Chinese Academy of Science
Mobile\WeChat: +86—15201613655
E-mail: [hidden email] <[hidden email]>
QQ: 3239559*