slot询问

classic Classic list List threaded Threaded
2 messages Options
Reply | Threaded
Open this post in threaded view
|

slot询问

戴嘉诚
大家好:
       我在的Flink是在yarn上跑,在yarn上部署了个yarn-session,命令如下:
./yarn-session.sh -jm 5120m -tm 10240m   -s 30 -d -st

      这里我是设置了一个tm上面跑30个slot,但是我在1.8版本的时候,是在yarn中会看到的是一个tm是使用一个cpu,但是我切换到了1.9.1后,发现是一个slot使用一个cpu,导致我设置的并行超出了yarn中的cpu资源。请问在1.9.1中,如果降低这个cpu使用率?
Reply | Threaded
Open this post in threaded view
|

Re: slot询问

Xintong Song
可以通过 “yarn.containers.vcores” 配置每个 TM 的 CPU。
这个配置项如果不配,默认是用slot数量,1.8 应该也是这个行为才对。

Thank you~

Xintong Song



On Fri, Dec 27, 2019 at 5:11 PM 戴嘉诚 <[hidden email]> wrote:

> 大家好:
>        我在的Flink是在yarn上跑,在yarn上部署了个yarn-session,命令如下:
> ./yarn-session.sh -jm 5120m -tm 10240m   -s 30 -d -st
>
>
> 这里我是设置了一个tm上面跑30个slot,但是我在1.8版本的时候,是在yarn中会看到的是一个tm是使用一个cpu,但是我切换到了1.9.1后,发现是一个slot使用一个cpu,导致我设置的并行超出了yarn中的cpu资源。请问在1.9.1中,如果降低这个cpu使用率?
>