如何限制blink中资源使用上限(perjob模式)

classic Classic list List threaded Threaded
2 messages Options
Reply | Threaded
Open this post in threaded view
|

如何限制blink中资源使用上限(perjob模式)

jackjiang
Hi all,

我在使用blink提交的任务的时候(perjob模式),如何限制任务的资源使用上限啊,有个任务使用yarn的vcores特别多
曾使用:
1. taskmanager.multi-slots.max.cpu.core
2. taskmanager.cpu.core
3. taskmanager.capacity.cpu.core
 这些参数都是无效

如何在perjob模式下控制住资源的使用上限?


祝好
Reply | Threaded
Open this post in threaded view
|

Re: 如何限制blink中资源使用上限(perjob模式)

Xintong Song
你好,

blink perjob模式是根据job的资源需求按需申请资源的,不能限制整个job的资源上限。
你列出来的这几个参数,只能控制单个TM的资源上限,但是单个TM的资源上限减少了,整个job的资源需求并不会变,只是会申请更多的TM。

Thank you~

Xintong Song



On Sat, Oct 19, 2019 at 3:56 PM 蒋涛涛 <[hidden email]> wrote:

> Hi all,
>
> 我在使用blink提交的任务的时候(perjob模式),如何限制任务的资源使用上限啊,有个任务使用yarn的vcores特别多
> 曾使用:
> 1. taskmanager.multi-slots.max.cpu.core
> 2. taskmanager.cpu.core
> 3. taskmanager.capacity.cpu.core
>  这些参数都是无效
>
> 如何在perjob模式下控制住资源的使用上限?
>
>
> 祝好
>