如何提升任务cpu使用率

[yanggang_it_job]

hi：
   背景介绍，现在集群的剩余核数不多，就去梳理了一些大任务。
   通过PromSQL：max(flink_taskmanager_Status_JVM_CPU_Load{job_name={job_name}})获取指定任务的cpu使用率，
   发现任务的cpu使用率普遍较低，一个slot为10的container，使用率大多小于6%。
   
   然后我测试中我降低container里面的slot数，发现cpu使用率并没有线性增加，同理我增大slot数也没有线性减少。
   
   我是不是测试的有问题呢？或者有什么相关思路吗？




 
 

[Xintong Song]

你的 Flink 版本是什么？运行环境是 Yarn？

降低 slot 数并不能提高 cpu 的使用率。默认情况下 yarn container 申请 vcore 数等于 slot 数，降低 slot
数相当于等比例地降低了每个 container 的 cpu 资源和计算需求。如果想提高 cpu 的使用率，可以考虑让 container 的
vcore 数少于 slot 数。通过 ‘yarn.containers.vcores’ 可以设置 container 的 vcore 数不用默认的
slot 数。

Thank you~

Xintong Song



On Tue, Mar 24, 2020 at 8:09 PM yanggang_it_job <[hidden email]>
wrote:

> hi：
>    背景介绍，现在集群的剩余核数不多，就去梳理了一些大任务。
>
>  通过PromSQL：max(flink_taskmanager_Status_JVM_CPU_Load{job_name={job_name}})获取指定任务的cpu使用率，
>    发现任务的cpu使用率普遍较低，一个slot为10的container，使用率大多小于6%。
>
>    然后我测试中我降低container里面的slot数，发现cpu使用率并没有线性增加，同理我增大slot数也没有线性减少。
>
>    我是不是测试的有问题呢？或者有什么相关思路吗？
>
>
>
>
>
>