flink tm cpu cores设置

flink on yarn per模式，tm能设置cpu cores的数量吗？



[hidden email]

[JasonLee]

hi 设置yarn.containers.vcores这个参数就可以了



-----
Best Wishes
JasonLee
--
Sent from: http://apache-flink.147419.n8.nabble.com/

这个再flink-conf.yaml中设置过没用



[hidden email]
 
发件人： JasonLee
发送时间： 2020-11-05 13:49
收件人： user-zh
主题： Re: flink tm cpu cores设置
hi 设置yarn.containers.vcores这个参数就可以了
 
 
 
-----
Best Wishes
JasonLee
--
Sent from: http://apache-flink.147419.n8.nabble.com/

1.8中在flink-conf.yaml中设置无效



[hidden email]
 
发件人： JasonLee
发送时间： 2020-11-05 13:49
收件人： user-zh
主题： Re: flink tm cpu cores设置
hi 设置yarn.containers.vcores这个参数就可以了
 
 
 
-----
Best Wishes
JasonLee
--
Sent from: http://apache-flink.147419.n8.nabble.com/

[JasonLee]

hi
可以这么设置-yD yarn.containers.vcores=你设置的值



-----
Best Wishes
JasonLee
--
Sent from: http://apache-flink.147419.n8.nabble.com/

你说加启动参数 而不是flink-conf.yaml?



[hidden email]
 
发件人： JasonLee
发送时间： 2020-11-05 13:59
收件人： user-zh
主题： Re: Re: flink tm cpu cores设置
hi
可以这么设置-yD yarn.containers.vcores=你设置的值
 
 
 
-----
Best Wishes
JasonLee
--
Sent from: http://apache-flink.147419.n8.nabble.com/

你说的是启动参数吗？



[hidden email]
 
发件人： JasonLee
发送时间： 2020-11-05 13:59
收件人： user-zh
主题： Re: Re: flink tm cpu cores设置
hi
可以这么设置-yD yarn.containers.vcores=你设置的值
 
 
 
-----
Best Wishes
JasonLee
--
Sent from: http://apache-flink.147419.n8.nabble.com/

[Yangze Guo]

如何确认没有用的呢？能分享一下jm日志么？
另外这个参数实际是否生效也取决于yarn的调度器是否开启了cpu调度

Best,
Yangze Guo

On Thu, Nov 5, 2020 at 1:50 PM [hidden email]
<[hidden email]> wrote:

>
> 这个再flink-conf.yaml中设置过没用
>
>
>
> [hidden email]
>
> 发件人： JasonLee
> 发送时间： 2020-11-05 13:49
> 收件人： user-zh
> 主题： Re: flink tm cpu cores设置
> hi 设置yarn.containers.vcores这个参数就可以了
>
>
>
> -----
> Best Wishes
> JasonLee
> --
> Sent from: http://apache-flink.147419.n8.nabble.com/

当设为5的时候 tm cpu cores为4，当设为4的时候，tm cpu cores还是为4

---

[hidden email]

 

发件人： [hidden email]

发送时间： 2020-11-09 10:19

收件人： [hidden email]

主题： Re: Re: flink tm cpu cores设置

如何确认没有用的呢？能分享一下jm日志么？

另外这个参数实际是否生效也取决于yarn的调度器是否开启了cpu调度

 

Best,

Yangze Guo

 

On Thu, Nov 5, 2020 at 1:50 PM [hidden email]

<[hidden email]> wrote:

>

> 这个再flink-conf.yaml中设置过没用

>

>

>

> [hidden email]

>

> 发件人： JasonLee

> 发送时间： 2020-11-05 13:49

> 收件人： user-zh

> 主题： Re: flink tm cpu cores设置

> hi 设置yarn.containers.vcores这个参数就可以了

>

>

>

> -----

> Best Wishes

> JasonLee

> --

> Sent from: https://nam12.safelinks.protection.outlook.com/?url=http%3A%2F%2Fapache-flink.147419.n8.nabble.com%2F&amp;data=04%7C01%7C%7Cb671605ec41446d8662d08d88455e3ee%7C84df9e7fe9f640afb435aaaaaaaaaaaa%7C1%7C0%7C637404851712945054%7CUnknown%7CTWFpbGZsb3d8eyJWIjoiMC4wLjAwMDAiLCJQIjoiV2luMzIiLCJBTiI6Ik1haWwiLCJXVCI6Mn0%3D%7C1000&amp;sdata=NVzrOsZuELZMWsx%2B9PjXjB8F4J4184pILw65N3r%2FOQQ%3D&amp;reserved=0

JM logs里面有
Loading configuration property: yarn.containers.cores,4



[hidden email]
 
发件人： [hidden email]
发送时间： 2020-11-10 15:33
收件人： user-zh
主题： Re: Re: flink tm cpu cores设置
当设为5的时候 tm cpu cores为4，当设为4的时候，tm cpu cores还是为4



[hidden email]
 
发件人： Yangze Guo
发送时间： 2020-11-09 10:19
收件人： user-zh
主题： Re: Re: flink tm cpu cores设置
如何确认没有用的呢？能分享一下jm日志么？
另外这个参数实际是否生效也取决于yarn的调度器是否开启了cpu调度
 
Best,
Yangze Guo
 
On Thu, Nov 5, 2020 at 1:50 PM [hidden email]
<[hidden email]> wrote:

>
> 这个再flink-conf.yaml中设置过没用
>
>
>
> [hidden email]
>
> 发件人： JasonLee
> 发送时间： 2020-11-05 13:49
> 收件人： user-zh
> 主题： Re: flink tm cpu cores设置
> hi 设置yarn.containers.vcores这个参数就可以了
>
>
>
> -----
> Best Wishes
> JasonLee
> --
> Sent from: https://nam12.safelinks.protection.outlook.com/?url=http%3A%2F%2Fapache-flink.147419.n8.nabble.com%2F&amp;data=04%7C01%7C%7Cb671605ec41446d8662d08d88455e3ee%7C84df9e7fe9f640afb435aaaaaaaaaaaa%7C1%7C0%7C637404851712945054%7CUnknown%7CTWFpbGZsb3d8eyJWIjoiMC4wLjAwMDAiLCJQIjoiV2luMzIiLCJBTiI6Ik1haWwiLCJXVCI6Mn0%3D%7C1000&amp;sdata=NVzrOsZuELZMWsx%2B9PjXjB8F4J4184pILw65N3r%2FOQQ%3D&amp;reserved=0

[Yangze Guo]

你这个少了一个"v", 应该是yarn.containers.vcores

Best,
Yangze Guo

On Tue, Nov 10, 2020 at 3:43 PM [hidden email]
<[hidden email]> wrote:

>
> JM logs里面有
> Loading configuration property: yarn.containers.cores,4
>
>
>
> [hidden email]
>
> 发件人： [hidden email]
> 发送时间： 2020-11-10 15:33
> 收件人： user-zh
> 主题： Re: Re: flink tm cpu cores设置
> 当设为5的时候 tm cpu cores为4，当设为4的时候，tm cpu cores还是为4
>
>
>
> [hidden email]
>
> 发件人： Yangze Guo
> 发送时间： 2020-11-09 10:19
> 收件人： user-zh
> 主题： Re: Re: flink tm cpu cores设置
> 如何确认没有用的呢？能分享一下jm日志么？
> 另外这个参数实际是否生效也取决于yarn的调度器是否开启了cpu调度
>
> Best,
> Yangze Guo
>
> On Thu, Nov 5, 2020 at 1:50 PM [hidden email]
> <[hidden email]> wrote:
> >
> > 这个再flink-conf.yaml中设置过没用
> >
> >
> >
> > [hidden email]
> >
> > 发件人： JasonLee
> > 发送时间： 2020-11-05 13:49
> > 收件人： user-zh
> > 主题： Re: flink tm cpu cores设置
> > hi 设置yarn.containers.vcores这个参数就可以了
> >
> >
> >
> > -----
> > Best Wishes
> > JasonLee
> > --
> > Sent from: https://nam12.safelinks.protection.outlook.com/?url=http%3A%2F%2Fapache-flink.147419.n8.nabble.com%2F&amp;data=04%7C01%7C%7Cb671605ec41446d8662d08d88455e3ee%7C84df9e7fe9f640afb435aaaaaaaaaaaa%7C1%7C0%7C637404851712945054%7CUnknown%7CTWFpbGZsb3d8eyJWIjoiMC4wLjAwMDAiLCJQIjoiV2luMzIiLCJBTiI6Ik1haWwiLCJXVCI6Mn0%3D%7C1000&amp;sdata=NVzrOsZuELZMWsx%2B9PjXjB8F4J4184pILw65N3r%2FOQQ%3D&amp;reserved=0

没少啊。。



[hidden email]
 
发件人： Yangze Guo
发送时间： 2020-11-10 18:34
收件人： user-zh
主题： Re: Re: flink tm cpu cores设置
你这个少了一个"v", 应该是yarn.containers.vcores
 
Best,
Yangze Guo
 
On Tue, Nov 10, 2020 at 3:43 PM [hidden email]
<[hidden email]> wrote:

>
> JM logs里面有
> Loading configuration property: yarn.containers.cores,4
>
>
>
> [hidden email]
>
> 发件人： [hidden email]
> 发送时间： 2020-11-10 15:33
> 收件人： user-zh
> 主题： Re: Re: flink tm cpu cores设置
> 当设为5的时候 tm cpu cores为4，当设为4的时候，tm cpu cores还是为4
>
>
>
> [hidden email]
>
> 发件人： Yangze Guo
> 发送时间： 2020-11-09 10:19
> 收件人： user-zh
> 主题： Re: Re: flink tm cpu cores设置
> 如何确认没有用的呢？能分享一下jm日志么？
> 另外这个参数实际是否生效也取决于yarn的调度器是否开启了cpu调度
>
> Best,
> Yangze Guo
>
> On Thu, Nov 5, 2020 at 1:50 PM [hidden email]
> <[hidden email]> wrote:
> >
> > 这个再flink-conf.yaml中设置过没用
> >
> >
> >
> > [hidden email]
> >
> > 发件人： JasonLee
> > 发送时间： 2020-11-05 13:49
> > 收件人： user-zh
> > 主题： Re: flink tm cpu cores设置
> > hi 设置yarn.containers.vcores这个参数就可以了
> >
> >
> >
> > -----
> > Best Wishes
> > JasonLee
> > --
> > Sent from: https://nam12.safelinks.protection.outlook.com/?url=http%3A%2F%2Fapache-flink.147419.n8.nabble.com%2F&amp;data=04%7C01%7C%7C8e432287bc8b44a3642508d885643318%7C84df9e7fe9f640afb435aaaaaaaaaaaa%7C1%7C0%7C637406012678853112%7CUnknown%7CTWFpbGZsb3d8eyJWIjoiMC4wLjAwMDAiLCJQIjoiV2luMzIiLCJBTiI6Ik1haWwiLCJXVCI6Mn0%3D%7C1000&amp;sdata=0DpSiWj4h%2BdlNtDlokaE%2B1U3l5r7k8eQEAg5SK24sxc%3D&amp;reserved=0