大佬们,我试过flinksql-client和flink-sql-gateway发现都是把代码提交到本地集群运行,好像不能提交到指定远程集群上执行任务,请问大佬们,怎么提交代码到远程集群运行
| | 15927482803 | | 邮箱:[hidden email] | 签名由 网易邮箱大师 定制 |
可以试试zeppelin
罗显宴 <[hidden email]> 于2021年1月23日周六 上午11:19写道: > > 大佬们,我试过flinksql-client和flink-sql-gateway发现都是把代码提交到本地集群运行,好像不能提交到指定远程集群上执行任务,请问大佬们,怎么提交代码到远程集群运行 > > > | | > 15927482803 > | > | > 邮箱:[hidden email] > | > > 签名由 网易邮箱大师 定制 |
In reply to this post by 罗显宴
flink-sql-gateway在提交job时,会根据SPI加载executor,然后推断是local mode还是remote mode,
在remote mode下,根据FLINK_HOME 目录下config.sh推断的FLINK_CONF_DIR 寻找flink-conf.yaml, 其中的host, rest port决定了提交的远端集群 罗显宴 <[hidden email]> 于2021年1月23日周六 上午11:19写道: > > 大佬们,我试过flinksql-client和flink-sql-gateway发现都是把代码提交到本地集群运行,好像不能提交到指定远程集群上执行任务,请问大佬们,怎么提交代码到远程集群运行 > > > | | > 15927482803 > | > | > 邮箱:[hidden email] > | > > 签名由 网易邮箱大师 定制 -- *With kind regards ------------------------------------------------------------ Sebastian Liu 刘洋 Institute of Computing Technology, Chinese Academy of Science Mobile\WeChat: +86—15201613655 E-mail: [hidden email] <[hidden email]> QQ: 3239559* |
如果是yarn-pre-job,是如何提交到yarn集群的呢,跟host * rest port应该没关系了吧?
Sebastian Liu <[hidden email]> 于2021年1月27日周三 上午12:48写道: > flink-sql-gateway在提交job时,会根据SPI加载executor,然后推断是local mode还是remote mode, > 在remote mode下,根据FLINK_HOME 目录下config.sh推断的FLINK_CONF_DIR 寻找flink-conf.yaml, > 其中的host, rest port决定了提交的远端集群 > > 罗显宴 <[hidden email]> 于2021年1月23日周六 上午11:19写道: > > > > > > 大佬们,我试过flinksql-client和flink-sql-gateway发现都是把代码提交到本地集群运行,好像不能提交到指定远程集群上执行任务,请问大佬们,怎么提交代码到远程集群运行 > > > > > > | | > > 15927482803 > > | > > | > > 邮箱:[hidden email] > > | > > > > 签名由 网易邮箱大师 定制 > > > > -- > > *With kind regards > ------------------------------------------------------------ > Sebastian Liu 刘洋 > Institute of Computing Technology, Chinese Academy of Science > Mobile\WeChat: +86—15201613655 > E-mail: [hidden email] <[hidden email]> > QQ: 3239559* > |
Hi zilong,
sql gateway复用了很多底层API,其提交方式很多复用了flink client的逻辑。 针对提交模式,主要是看flink-conf.yaml中的的execution.config 配置, 关于这个配置 可以参考:org.apache.flink.configuration.DeploymentOptions#TARGET 如果是yarn-per-job, 需要配置为:“yarn-per-job”, 同时也依赖flink-conf.yaml中其他yarn的相关配置: 可参考:org.apache.flink.yarn.configuration.YarnConfigOptions 总结一下就是: 1. sql gateway找到正确的flink-conf.yaml, 取决于FLINK_HOME or FLINK_CONF_DIR. 2. 根据execution.config选择对应executor,然后不同模式依赖于flink-conf对应的提交相关配置 zilong xiao <[hidden email]> 于2021年1月27日周三 上午10:19写道: > 如果是yarn-pre-job,是如何提交到yarn集群的呢,跟host * rest port应该没关系了吧? > > Sebastian Liu <[hidden email]> 于2021年1月27日周三 上午12:48写道: > > > flink-sql-gateway在提交job时,会根据SPI加载executor,然后推断是local mode还是remote mode, > > 在remote mode下,根据FLINK_HOME 目录下config.sh推断的FLINK_CONF_DIR > 寻找flink-conf.yaml, > > 其中的host, rest port决定了提交的远端集群 > > > > 罗显宴 <[hidden email]> 于2021年1月23日周六 上午11:19写道: > > > > > > > > > > > 大佬们,我试过flinksql-client和flink-sql-gateway发现都是把代码提交到本地集群运行,好像不能提交到指定远程集群上执行任务,请问大佬们,怎么提交代码到远程集群运行 > > > > > > > > > | | > > > 15927482803 > > > | > > > | > > > 邮箱:[hidden email] > > > | > > > > > > 签名由 网易邮箱大师 定制 > > > > > > > > -- > > > > *With kind regards > > ------------------------------------------------------------ > > Sebastian Liu 刘洋 > > Institute of Computing Technology, Chinese Academy of Science > > Mobile\WeChat: +86—15201613655 > > E-mail: [hidden email] <[hidden email]> > > QQ: 3239559* > > > -- *With kind regards ------------------------------------------------------------ Sebastian Liu 刘洋 Institute of Computing Technology, Chinese Academy of Science Mobile\WeChat: +86—15201613655 E-mail: [hidden email] <[hidden email]> QQ: 3239559* |
Free forum by Nabble | Edit this page |