Apache Flink 中文用户邮件列表

SQL_CLI构建流式应用参数设置

Classic

List

Threaded

2 messages Options

Even

SQL_CLI构建流式应用参数设置

Hi！Nabble似乎无法注册，所以在邮件列表中无法回复。
关于周三问题，还有一点疑惑：
1、在CLI通过 set 命令，如 set  execution.parallelism=10 动态设置并行度，是当前CLI创建的所有任务都是这个并行度吗？
2、 SQL CLI 还不支持 checkpoint 的设置，这个以后会考虑支持吗？如果已考虑会在下个版本中发布吗？
非常感谢！

------------------------------------------------------------
Hi Even, 

1. 目前 SQL CLI 支持通过在 sql-client-default.yaml 里设置 parallelism 
和 max-parallelism 来控制 CLI 任务的默认并发。或者通过 set 命令，如 set 
execution.parallelism=10;放方式动态设置。例外，对于如果使用 blink 
planner，可以用 table.exec.resource.default-parallelism 来配置默认并发。[1] 
另外 SQL CLI 还不支持 checkpoint 的设置。 
2. 目前 SQL CLI 默认是 in-memory catalog，在每个SQL CLI的独立进程中，不会共享。如果SQL 
CLI挂掉，in-memory catalog 也会消失。你可以配置你的catalog为 hive catalog [1], 这样你创建的表会持久化到 
hive catalog 中，多个SQL CLI使用同一个hive catalog，可以达到你说期望的共享。 

[1] 
https://ci.apache.org/projects/flink/flink-docs-release-1.10/dev/table/sqlClient.html#environment-files

Best, 
Godfrey 

Even <[hidden email]> 于2020年4月15日周三下午3:35写道： 

> Hi！ 
> 请教两个问题： 
> 1、 Flink SQL CLI 纯文本方式构建一个流式应用，在DDL语句中如何设置checkpoint和并行度这些参数？ 
> 2、 Flink SQL CLI 
> 纯文本方式构建的流式应用创建的那些表，我在另外一个CLI中是无法找到这些table的，这是为什么？如果任务挂掉了，应该怎么重启，还是必须重新再构建？ 

godfrey he

Re: SQL_CLI构建流式应用参数设置

第一个问题：set execution.parallelism=10;
这样命令设置的job的默认并发度。一些算子有自己并发度的设置逻辑，不受默认并发度的影响（例如
hive的source，是根据partition数来的）。你可以在提交作业之前调用set命令来修改每个job的默认并发度。
第二个问题：1.11在 FLINK-16822[1] 被fix后，你可以通过配置项方式设置checkpoint [2]。例如:
set execution.checkpointing.mode=EXACTLY_ONCE。

[1] https://issues.apache.org/jira/browse/FLINK-16822
[2]
https://ci.apache.org/projects/flink/flink-docs-stable/ops/config.html#checkpointing

Best,
Godfrey

Even <[hidden email]> 于2020年4月17日周五下午3:44写道：

> Hi！Nabble似乎无法注册，所以在邮件列表中无法回复。
> 关于周三问题，还有一点疑惑：
> 1、在CLI通过 set 命令，如 set
>  execution.parallelism=10 动态设置并行度，是当前CLI创建的所有任务都是这个并行度吗？
> 2、 SQL CLI 还不支持 checkpoint 的设置，这个以后会考虑支持吗？如果已考虑会在下个版本中发布吗？
> 非常感谢！
>
>
> ------------------------------------------------------------
> Hi Even, 
>
> 1. 目前 SQL CLI 支持通过在 sql-client-default.yaml 里设置 parallelism 
> 和 max-parallelism 来控制 CLI 任务的默认并发。或者通过 set 命令，如 set 
> execution.parallelism=10;放方式动态设置。例外，对于如果使用 blink 
> planner，可以用 table.exec.resource.default-parallelism 来配置默认并发。[1] 
> 另外 SQL CLI 还不支持 checkpoint 的设置。 
> 2. 目前 SQL CLI 默认是 in-memory catalog，在每个SQL CLI的独立进程中，不会共享。如果SQL 
> CLI挂掉，in-memory catalog 也会消失。你可以配置你的catalog为 hive catalog [1],
> 这样你创建的表会持久化到 
> hive catalog 中，多个SQL CLI使用同一个hive catalog，可以达到你说期望的共享。 
>
> [1] 
>
> https://ci.apache.org/projects/flink/flink-docs-release-1.10/dev/table/sqlClient.html#environment-files
>
> Best, 
> Godfrey 
>
> Even <[hidden email]> 于2020年4月15日周三下午3:35写道： 
>
> > Hi！ 
> > 请教两个问题： 
> > 1、 Flink SQL CLI 纯文本方式构建一个流式应用，在DDL语句中如何设置checkpoint和并行度这些参数？ 
> > 2、 Flink SQL CLI 
> >
> 纯文本方式构建的流式应用创建的那些表，我在另外一个CLI中是无法找到这些table的，这是为什么？如果任务挂掉了，应该怎么重启，还是必须重新再构建？ 