Flink on yarn 如何指定固定几台yarn节点当做flink任务的运行节点

[yujianbo]

各位大佬好：
     请问Flink on  yarn 如何指定固定几台yarn节点当做flink任务的运行节点？



--
Sent from: http://apache-flink.147419.n8.nabble.com/

[felixzh]

这个没办法做到吧。想做资源隔离的话，应该只需要分队列就行

















在 2020-12-21 16:43:35，"yujianbo" <[hidden email]> 写道：
>各位大佬好：
>     请问Flink on  yarn 如何指定固定几台yarn节点当做flink任务的运行节点？
>
>
>
>--
>Sent from: http://apache-flink.147419.n8.nabble.com/

这个问题应该问yarn吧。。。



 
发件人： yujianbo
发送时间： 2020-12-21 16:43
收件人： user-zh
主题： Flink on yarn 如何指定固定几台yarn节点当做flink任务的运行节点
各位大佬好：
     请问Flink on  yarn 如何指定固定几台yarn节点当做flink任务的运行节点？
 
 
 
--
Sent from: http://apache-flink.147419.n8.nabble.com/

[afweijian]

通过yarn label可以实现

-----邮件原件-----
发件人: user-zh-return-10095-afweijian=[hidden email] <user-zh-return-10095-afweijian=[hidden email]> 代表 yujianbo
发送时间: 2020年12月21日 16:44
收件人: [hidden email]
主题: Flink on yarn 如何指定固定几台yarn节点当做flink任务的运行节点

各位大佬好：
     请问Flink on  yarn 如何指定固定几台yarn节点当做flink任务的运行节点？



--
Sent from: http://apache-flink.147419.n8.nabble.com/

[r pp]

嗯，指定几台机子 用于使用flink 运行，为什么 不在yarn 为flink 专门制定 一个队列呢？需要 网络隔离 。。。内网速度多大？

<[hidden email]> 于2020年12月21日周一 下午5:48写道：

> 通过yarn label可以实现
>
> -----邮件原件-----
> 发件人: user-zh-return-10095-afweijian=[hidden email]
> <user-zh-return-10095-afweijian=[hidden email]> 代表 yujianbo
> 发送时间: 2020年12月21日 16:44
> 收件人: [hidden email]
> 主题: Flink on yarn 如何指定固定几台yarn节点当做flink任务的运行节点
>
> 各位大佬好：
>      请问Flink on  yarn 如何指定固定几台yarn节点当做flink任务的运行节点？
>
>
>
> --
> Sent from: http://apache-flink.147419.n8.nabble.com/
>

[xiao cai]

Hi
可以考虑使用yarn的node label特性，将flink的任务提交到特定的node上


 Original Message
Sender: r pp<[hidden email]>
Recipient: user-zh<[hidden email]>
Date: Monday, Dec 21, 2020 21:25
Subject: Re: Flink on yarn 如何指定固定几台yarn节点当做flink任务的运行节点


嗯，指定几台机子 用于使用flink 运行，为什么 不在yarn 为flink 专门制定 一个队列呢？需要 网络隔离 。。。内网速度多大？ <[hidden email]> 于2020年12月21日周一 下午5:48写道： > 通过yarn label可以实现 > > -----邮件原件----- > 发件人: user-zh-return-10095-afweijian=[hidden email] > <user-zh-return-10095-afweijian=[hidden email]> 代表 yujianbo > 发送时间: 2020年12月21日 16:44 > 收件人: [hidden email] > 主题: Flink on yarn 如何指定固定几台yarn节点当做flink任务的运行节点 > > 各位大佬好： > 请问Flink on yarn 如何指定固定几台yarn节点当做flink任务的运行节点？ > > > > -- > Sent from: http://apache-flink.147419.n8.nabble.com/ >

[r pp]

flink 提交到特定的node ，可以保证 其它的任务 不能提交到flink特定的node 上么？

xiao cai <[hidden email]> 于2020年12月22日周二 上午10:28写道：

> Hi
> 可以考虑使用yarn的node label特性，将flink的任务提交到特定的node上
>
>
>  Original Message
> Sender: r pp<[hidden email]>
> Recipient: user-zh<[hidden email]>
> Date: Monday, Dec 21, 2020 21:25
> Subject: Re: Flink on yarn 如何指定固定几台yarn节点当做flink任务的运行节点
>
>
> 嗯，指定几台机子 用于使用flink 运行，为什么 不在yarn 为flink 专门制定 一个队列呢？需要 网络隔离 。。。内网速度多大？ <
> [hidden email]> 于2020年12月21日周一 下午5:48写道： > 通过yarn label可以实现 > >
> -----邮件原件----- > 发件人: user-zh-return-10095-afweijian=
> [hidden email] > <user-zh-return-10095-afweijian=
> [hidden email]> 代表 yujianbo > 发送时间: 2020年12月21日 16:44 > 收件人:
> [hidden email] > 主题: Flink on yarn 如何指定固定几台yarn节点当做flink任务的运行节点
> > > 各位大佬好： > 请问Flink on yarn 如何指定固定几台yarn节点当做flink任务的运行节点？ > > > > -- >
> Sent from: http://apache-flink.147419.n8.nabble.com/ >

[Yang Wang]

在Yarn上将需要给Flink使用的机器单独划分到一个partition里面，使用node label可以实现

然后在提交Flink任务的时候使用yarn.application.node-label来指定就可以了。partition是可以保证排他的，不带这个label的调度不上来

Best,
Yang

r pp <[hidden email]> 于2020年12月23日周三 上午11:18写道：

> flink 提交到特定的node ，可以保证 其它的任务 不能提交到flink特定的node 上么？
>
> xiao cai <[hidden email]> 于2020年12月22日周二 上午10:28写道：
>
> > Hi
> > 可以考虑使用yarn的node label特性，将flink的任务提交到特定的node上
> >
> >
> >  Original Message
> > Sender: r pp<[hidden email]>
> > Recipient: user-zh<[hidden email]>
> > Date: Monday, Dec 21, 2020 21:25
> > Subject: Re: Flink on yarn 如何指定固定几台yarn节点当做flink任务的运行节点
> >
> >
> > 嗯，指定几台机子 用于使用flink 运行，为什么 不在yarn 为flink 专门制定 一个队列呢？需要 网络隔离 。。。内网速度多大？ <
> > [hidden email]> 于2020年12月21日周一 下午5:48写道： > 通过yarn label可以实现 > >
> > -----邮件原件----- > 发件人: user-zh-return-10095-afweijian=
> > [hidden email] > <user-zh-return-10095-afweijian=
> > [hidden email]> 代表 yujianbo > 发送时间: 2020年12月21日 16:44 > 收件人:
> > [hidden email] > 主题: Flink on yarn
> 如何指定固定几台yarn节点当做flink任务的运行节点
> > > > 各位大佬好： > 请问Flink on yarn 如何指定固定几台yarn节点当做flink任务的运行节点？ > > > > -- >
> > Sent from: http://apache-flink.147419.n8.nabble.com/ >
>