Table Api执行sql如何设置sink并行度

classic Classic list List threaded Threaded
6 messages Options
Reply | Threaded
Open this post in threaded view
|

Table Api执行sql如何设置sink并行度

wldd
hi,all:
  请教一下,TableEnviroment在执行sql的时候如何设置sink的并行度














--

Best,
wldd
Reply | Threaded
Open this post in threaded view
|

Re: Table Api执行sql如何设置sink并行度

Shengkai Fang
hi
不知道 这个能不能满足你的要求

tEnv.getConfig().addConfiguration(
new Configuration()
.set(CoreOptions.DEFAULT_PARALLELISM, 128)
);

参见文档:https://ci.apache.org/projects/flink/flink-docs-stable/ops/config.html


wldd <[hidden email]> 于2020年8月7日周五 下午3:16写道:

> hi,all:
>   请教一下,TableEnviroment在执行sql的时候如何设置sink的并行度
>
>
>
>
>
>
>
>
>
>
>
>
>
>
> --
>
> Best,
> wldd
Reply | Threaded
Open this post in threaded view
|

Re:Re: Table Api执行sql如何设置sink并行度

wldd
hi:
  这应该是对应的flink-conf.yaml的配置,这是一个全局的配置,并不能指定sink的并行度













--

Best,
wldd





在 2020-08-07 15:26:34,"Shengkai Fang" <[hidden email]> 写道:

>hi
>不知道 这个能不能满足你的要求
>
>tEnv.getConfig().addConfiguration(
>new Configuration()
>.set(CoreOptions.DEFAULT_PARALLELISM, 128)
>);
>
>参见文档:https://ci.apache.org/projects/flink/flink-docs-stable/ops/config.html
>
>
>wldd <[hidden email]> 于2020年8月7日周五 下午3:16写道:
>
>> hi,all:
>>   请教一下,TableEnviroment在执行sql的时候如何设置sink的并行度
>>
>>
>>
>>
>>
>>
>>
>>
>>
>>
>>
>>
>>
>>
>> --
>>
>> Best,
>> wldd
Reply | Threaded
Open this post in threaded view
|

Re: Re: Table Api执行sql如何设置sink并行度

Shengkai Fang
hi, 现在仅支持全局设置,现在并不支持对于单个sink并行度的设置。
 对于单个sink的设置社区正在讨论中,见
https://www.mail-archive.com/dev@.../msg40251.html
wldd <[hidden email]> 于2020年8月7日周五 下午3:41写道:

> hi:
>   这应该是对应的flink-conf.yaml的配置,这是一个全局的配置,并不能指定sink的并行度
>
>
>
>
>
>
>
>
>
>
>
>
>
> --
>
> Best,
> wldd
>
>
>
>
>
> 在 2020-08-07 15:26:34,"Shengkai Fang" <[hidden email]> 写道:
> >hi
> >不知道 这个能不能满足你的要求
> >
> >tEnv.getConfig().addConfiguration(
> >new Configuration()
> >.set(CoreOptions.DEFAULT_PARALLELISM, 128)
> >);
> >
> >参见文档:
> https://ci.apache.org/projects/flink/flink-docs-stable/ops/config.html
> >
> >
> >wldd <[hidden email]> 于2020年8月7日周五 下午3:16写道:
> >
> >> hi,all:
> >>   请教一下,TableEnviroment在执行sql的时候如何设置sink的并行度
> >>
> >>
> >>
> >>
> >>
> >>
> >>
> >>
> >>
> >>
> >>
> >>
> >>
> >>
> >> --
> >>
> >> Best,
> >> wldd
>
Reply | Threaded
Open this post in threaded view
|

回复: Re: Table Api执行sql如何设置sink并行度

Cayden chen
hi:
&nbsp; 你可以把sink 之前的table转成datastream,然后改变全局的为你想设置的sink并行度,再dataStream.addSink(sink)(由于这里会取全局并行度并给算子设置),
&nbsp; 之后把全局并行度改回去。理论上这个方法可以为每个算子设置单独并行度&nbsp;




------------------&nbsp;原始邮件&nbsp;------------------
发件人:                                                                                                                        "user-zh"                                                                                    <[hidden email]&gt;;
发送时间:&nbsp;2020年8月7日(星期五) 下午4:35
收件人:&nbsp;"user-zh"<[hidden email]&gt;;

主题:&nbsp;Re: Re: Table Api执行sql如何设置sink并行度



hi, 现在仅支持全局设置,现在并不支持对于单个sink并行度的设置。
&nbsp;对于单个sink的设置社区正在讨论中,见
https://www.mail-archive.com/dev@.../msg40251.html
wldd <[hidden email]&gt; 于2020年8月7日周五 下午3:41写道:

&gt; hi:
&gt;&nbsp;&nbsp; 这应该是对应的flink-conf.yaml的配置,这是一个全局的配置,并不能指定sink的并行度
&gt;
&gt;
&gt;
&gt;
&gt;
&gt;
&gt;
&gt;
&gt;
&gt;
&gt;
&gt;
&gt;
&gt; --
&gt;
&gt; Best,
&gt; wldd
&gt;
&gt;
&gt;
&gt;
&gt;
&gt; 在 2020-08-07 15:26:34,"Shengkai Fang" <[hidden email]&gt; 写道:
&gt; &gt;hi
&gt; &gt;不知道 这个能不能满足你的要求
&gt; &gt;
&gt; &gt;tEnv.getConfig().addConfiguration(
&gt; &gt;new Configuration()
&gt; &gt;.set(CoreOptions.DEFAULT_PARALLELISM, 128)
&gt; &gt;);
&gt; &gt;
&gt; &gt;参见文档:
&gt; https://ci.apache.org/projects/flink/flink-docs-stable/ops/config.html
&gt; &gt;
&gt; &gt;
&gt; &gt;wldd <[hidden email]&gt; 于2020年8月7日周五 下午3:16写道:
&gt; &gt;
&gt; &gt;&gt; hi,all:
&gt; &gt;&gt;&nbsp;&nbsp; 请教一下,TableEnviroment在执行sql的时候如何设置sink的并行度
&gt; &gt;&gt;
&gt; &gt;&gt;
&gt; &gt;&gt;
&gt; &gt;&gt;
&gt; &gt;&gt;
&gt; &gt;&gt;
&gt; &gt;&gt;
&gt; &gt;&gt;
&gt; &gt;&gt;
&gt; &gt;&gt;
&gt; &gt;&gt;
&gt; &gt;&gt;
&gt; &gt;&gt;
&gt; &gt;&gt;
&gt; &gt;&gt; --
&gt; &gt;&gt;
&gt; &gt;&gt; Best,
&gt; &gt;&gt; wldd
&gt;
Reply | Threaded
Open this post in threaded view
|

Re:回复: Re: Table Api执行sql如何设置sink并行度

wldd
hi,Shengkai Fang,Cayden chen:


谢谢解答,这个DISCUSS应该可以解决我的问题










--

Best,
wldd





在 2020-08-07 16:56:30,"Cayden chen" <[hidden email]> 写道:

>hi:
>&nbsp; 你可以把sink 之前的table转成datastream,然后改变全局的为你想设置的sink并行度,再dataStream.addSink(sink)(由于这里会取全局并行度并给算子设置),
>&nbsp; 之后把全局并行度改回去。理论上这个方法可以为每个算子设置单独并行度&nbsp;
>
>
>
>
>------------------&nbsp;原始邮件&nbsp;------------------
>发件人:                                                                                                                        "user-zh"                                                                                    <[hidden email]&gt;;
>发送时间:&nbsp;2020年8月7日(星期五) 下午4:35
>收件人:&nbsp;"user-zh"<[hidden email]&gt;;
>
>主题:&nbsp;Re: Re: Table Api执行sql如何设置sink并行度
>
>
>
>hi, 现在仅支持全局设置,现在并不支持对于单个sink并行度的设置。
>&nbsp;对于单个sink的设置社区正在讨论中,见
>https://www.mail-archive.com/dev@.../msg40251.html
>wldd <[hidden email]&gt; 于2020年8月7日周五 下午3:41写道:
>
>&gt; hi:
>&gt;&nbsp;&nbsp; 这应该是对应的flink-conf.yaml的配置,这是一个全局的配置,并不能指定sink的并行度
>&gt;
>&gt;
>&gt;
>&gt;
>&gt;
>&gt;
>&gt;
>&gt;
>&gt;
>&gt;
>&gt;
>&gt;
>&gt;
>&gt; --
>&gt;
>&gt; Best,
>&gt; wldd
>&gt;
>&gt;
>&gt;
>&gt;
>&gt;
>&gt; 在 2020-08-07 15:26:34,"Shengkai Fang" <[hidden email]&gt; 写道:
>&gt; &gt;hi
>&gt; &gt;不知道 这个能不能满足你的要求
>&gt; &gt;
>&gt; &gt;tEnv.getConfig().addConfiguration(
>&gt; &gt;new Configuration()
>&gt; &gt;.set(CoreOptions.DEFAULT_PARALLELISM, 128)
>&gt; &gt;);
>&gt; &gt;
>&gt; &gt;参见文档:
>&gt; https://ci.apache.org/projects/flink/flink-docs-stable/ops/config.html
>&gt; &gt;
>&gt; &gt;
>&gt; &gt;wldd <[hidden email]&gt; 于2020年8月7日周五 下午3:16写道:
>&gt; &gt;
>&gt; &gt;&gt; hi,all:
>&gt; &gt;&gt;&nbsp;&nbsp; 请教一下,TableEnviroment在执行sql的时候如何设置sink的并行度
>&gt; &gt;&gt;
>&gt; &gt;&gt;
>&gt; &gt;&gt;
>&gt; &gt;&gt;
>&gt; &gt;&gt;
>&gt; &gt;&gt;
>&gt; &gt;&gt;
>&gt; &gt;&gt;
>&gt; &gt;&gt;
>&gt; &gt;&gt;
>&gt; &gt;&gt;
>&gt; &gt;&gt;
>&gt; &gt;&gt;
>&gt; &gt;&gt;
>&gt; &gt;&gt; --
>&gt; &gt;&gt;
>&gt; &gt;&gt; Best,
>&gt; &gt;&gt; wldd
>&gt;