Apache Flink 中文用户邮件列表

关于 sql-client

Classic

List

Threaded

6 messages Options

杨荣

关于 sql-client

Hi all,

请问：
1. 在 Embedded mode 下，支持 ClusterClient 进行 job
提交作业，进行分布式计算吗？在文档中没看到，跟着文档走，只启起了 Local 在本地作业，无法运用到生产环境。

2. GateWay mode 预计在那个版本 release？

Harold.Miao

Re: 关于 sql-client

1 应该是可以的主要是你要在flink-conf.yaml里面配置正确的 jobmanager.rpc.address
源码里面有加载主配置文件的逻辑

public LocalExecutor(URL defaultEnv, List<URL> jars, List<URL> libraries) {
// discover configuration
final String flinkConfigDir;
try {
// find the configuration directory
flinkConfigDir = CliFrontend.getConfigurationDirectoryFromEnv();

// load the global configuration
this.flinkConfig = GlobalConfiguration.loadConfiguration(flinkConfigDir);

// initialize default file system
FileSystem.initialize(flinkConfig,
PluginUtils.createPluginManagerFromRootFolder(flinkConfig));

// load command lines for deployment
this.commandLines =
CliFrontend.loadCustomCommandLines(flinkConfig, flinkConfigDir);
this.commandLineOptions = collectCommandLineOptions(commandLines);
} catch (Exception e) {
throw new SqlClientException("Could not load Flink configuration.", e);
}

2 因为等不及官方的我们自己wrapper实现了一个

杨荣 <[hidden email]> 于2020年7月24日周五上午10:53写道：

> Hi all,
>
> 请问：
> 1. 在 Embedded mode 下，支持 ClusterClient 进行 job
> 提交作业，进行分布式计算吗？在文档中没看到，跟着文档走，只启起了 Local 在本地作业，无法运用到生产环境。
>
> 2. GateWay mode 预计在那个版本 release？
>

--

Best Regards,
Harold Miao

杨荣

Re: 关于 sql-client

你们可以 pr 到官方啊。我觉得这个功能很刚需啊，并且 basic 版的 1.5 就 release 了，不知道为什么相关 gate way 或者
submit with sql file 的 feature 到现在都还没实现呢。

Harold.Miao <[hidden email]> 于2020年7月24日周五上午11:42写道：

> 1 应该是可以的主要是你要在flink-conf.yaml里面配置正确的 jobmanager.rpc.address
> 源码里面有加载主配置文件的逻辑
>
> public LocalExecutor(URL defaultEnv, List<URL> jars, List<URL> libraries) {
> // discover configuration
> final String flinkConfigDir;
> try {
> // find the configuration directory
> flinkConfigDir = CliFrontend.getConfigurationDirectoryFromEnv();
>
> // load the global configuration
> this.flinkConfig =
> GlobalConfiguration.loadConfiguration(flinkConfigDir);
>
> // initialize default file system
> FileSystem.initialize(flinkConfig,
> PluginUtils.createPluginManagerFromRootFolder(flinkConfig));
>
> // load command lines for deployment
> this.commandLines =
> CliFrontend.loadCustomCommandLines(flinkConfig, flinkConfigDir);
> this.commandLineOptions = collectCommandLineOptions(commandLines);
> } catch (Exception e) {
> throw new SqlClientException("Could not load Flink configuration.",
> e);
> }
>
>
> 2 因为等不及官方的我们自己wrapper实现了一个
>
>
>
>
> 杨荣 <[hidden email]> 于2020年7月24日周五上午10:53写道：
>
> > Hi all,
> >
> > 请问：
> > 1. 在 Embedded mode 下，支持 ClusterClient 进行 job
> > 提交作业，进行分布式计算吗？在文档中没看到，跟着文档走，只启起了 Local 在本地作业，无法运用到生产环境。
> >
> > 2. GateWay mode 预计在那个版本 release？
> >
>
>
> --
>
> Best Regards,
> Harold Miao
>

Jeff Zhang

Re: 关于 sql-client

可以用zeppelin来提交flink sql作业，可以加入钉钉群讨论：32803524

杨荣 <[hidden email]> 于2020年7月24日周五下午3:19写道：

> 你们可以 pr 到官方啊。我觉得这个功能很刚需啊，并且 basic 版的 1.5 就 release 了，不知道为什么相关 gate way 或者
> submit with sql file 的 feature 到现在都还没实现呢。
>
> Harold.Miao <[hidden email]> 于2020年7月24日周五上午11:42写道：
>
> > 1 应该是可以的主要是你要在flink-conf.yaml里面配置正确的 jobmanager.rpc.address
> > 源码里面有加载主配置文件的逻辑
> >
> > public LocalExecutor(URL defaultEnv, List<URL> jars, List<URL>
> libraries) {
> > // discover configuration
> > final String flinkConfigDir;
> > try {
> > // find the configuration directory
> > flinkConfigDir = CliFrontend.getConfigurationDirectoryFromEnv();
> >
> > // load the global configuration
> > this.flinkConfig =
> > GlobalConfiguration.loadConfiguration(flinkConfigDir);
> >
> > // initialize default file system
> > FileSystem.initialize(flinkConfig,
> > PluginUtils.createPluginManagerFromRootFolder(flinkConfig));
> >
> > // load command lines for deployment
> > this.commandLines =
> > CliFrontend.loadCustomCommandLines(flinkConfig, flinkConfigDir);
> > this.commandLineOptions = collectCommandLineOptions(commandLines);
> > } catch (Exception e) {
> > throw new SqlClientException("Could not load Flink configuration.",
> > e);
> > }
> >
> >
> > 2 因为等不及官方的我们自己wrapper实现了一个
> >
> >
> >
> >
> > 杨荣 <[hidden email]> 于2020年7月24日周五上午10:53写道：
> >
> > > Hi all,
> > >
> > > 请问：
> > > 1. 在 Embedded mode 下，支持 ClusterClient 进行 job
> > > 提交作业，进行分布式计算吗？在文档中没看到，跟着文档走，只启起了 Local 在本地作业，无法运用到生产环境。
> > >
> > > 2. GateWay mode 预计在那个版本 release？
> > >
> >
> >
> > --
> >
> > Best Regards,
> > Harold Miao
> >
>

--
Best Regards

Jeff Zhang

Evan

Re: Re: 关于 sql-client

zeppelin 可以网页上提交各种作业，也是很不错的
另外 submit with SQL file 可以参考大佬写的 https://github.com/wuchong/flink-sql-submit，
然后在大佬的基础上，我自己稍微简化了一下,https://github.com/Chengyanan1008/flink-sql-submit-client
直接在服务器上执行./sql-submit.sh -f <sql-file> 就可以执行SQL 文件了

[hidden email]

发件人： Jeff Zhang
发送时间： 2020-07-24 15:46
收件人： user-zh
主题： Re: 关于 sql-client
可以用zeppelin来提交flink sql作业，可以加入钉钉群讨论：32803524

杨荣 <[hidden email]> 于2020年7月24日周五下午3:19写道：

--
Best Regards

Jeff Zhang

Harold.Miao

Re: 关于 sql-client

In reply to this post by 杨荣

这个呢 https://github.com/ververica/flink-sql-gateway

杨荣 <[hidden email]> 于2020年7月24日周五下午3:19写道：

--

Best Regards,
Harold Miao