flink slot资源隔离

[nobleyd]

flink slot的资源隔离，内存会真实隔离嘛？cpu肯定不会。

[吴磊-2]

我的理解是 Flink StandAlone 模式内存不会隔离，会影响同一台服务器上其他作业；
Flink-On-Yarn 内存是隔离的，由Container来做资源隔离。




------------------ 原始邮件 ------------------
发件人:                                                                                                                        "user-zh"                                                                                    <[hidden email]&gt;;
发送时间:&nbsp;2020年10月21日(星期三) 上午10:06
收件人:&nbsp;"user-zh"<[hidden email]&gt;;

主题:&nbsp;flink slot资源隔离



flink slot的资源隔离，内存会真实隔离嘛？cpu肯定不会。

[Yangze Guo]

Managed Memory是隔离的，Heap，Network都是TM级别共享

Best,
Yangze Guo

On Wed, Oct 21, 2020 at 10:06 AM 赵一旦 <[hidden email]> wrote:
>
> flink slot的资源隔离，内存会真实隔离嘛？cpu肯定不会。

[nobleyd]

那不使用rocksdb的话，本身主要就是heap。那岂不是slot唯一作用就是安排任务并行度（控制线程数量等），没有什么隔离作用本质上。

Yangze Guo <[hidden email]> 于2020年10月21日周三 上午10:12写道：

> Managed Memory是隔离的，Heap，Network都是TM级别共享
>
> Best,
> Yangze Guo
>
> On Wed, Oct 21, 2020 at 10:06 AM 赵一旦 <[hidden email]> wrote:
> >
> > flink slot的资源隔离，内存会真实隔离嘛？cpu肯定不会。
>

[Xintong Song]

>
> 那不使用rocksdb的话，本身主要就是heap。那岂不是slot唯一作用就是安排任务并行度（控制线程数量等），没有什么隔离作用本质上。
>
managed memory 目前可以用于三种用途：rocksdb state backend、python udf 以及 flink 内置的
batch operator。
如果上述三种都没有用到的话，那么确实如你所说，slot 只有调度方面的意义，没有隔离作用。

Flink-On-Yarn 内存是隔离的，由Container来做资源隔离。

这个也不是绝对的，要看 Yarn 的 配置。有些 Yarn 集群是允许资源超用、超卖的，Containter 之间也可能存在相互影响。


Thank you~

Xintong Song



On Wed, Oct 21, 2020 at 4:11 PM 吴磊 <[hidden email]> wrote:

> 我的理解是 Flink StandAlone 模式内存不会隔离，会影响同一台服务器上其他作业；
> Flink-On-Yarn 内存是隔离的，由Container来做资源隔离。
>
>
>
>
> ------------------&nbsp;原始邮件&nbsp;------------------
> 发件人:
>                                                   "user-zh"
>                                                                     <
> [hidden email]&gt;;
> 发送时间:&nbsp;2020年10月21日(星期三) 上午10:06
> 收件人:&nbsp;"user-zh"<[hidden email]&gt;;
>
> 主题:&nbsp;flink slot资源隔离
>
>
>
> flink slot的资源隔离，内存会真实隔离嘛？cpu肯定不会。