flink tasks在taskmanager上分布不均衡

classic Classic list List threaded Threaded
2 messages Options
Reply | Threaded
Open this post in threaded view
|

flink tasks在taskmanager上分布不均衡

Ever
我们测试环境的flink集群(flink 1.8),taskmanager有3个,每个有10个slot。

然后我有一个job, 其并行度是3,预期是会分布到不同taskmanager的slot上(也就是三个taskmanager各分配一个slot, 这样能更好的利用cpu资源).

结果发现这个job的三个task全部分配到同一个taskmanager上了。

为什么?

有什么配置可以改变这种行为吗?

我们想要的是下图Example 2这样子的, 并行度是2的时候, task能分到不同的taskmanager上。


谢谢!
Reply | Threaded
Open this post in threaded view
|

Re: flink tasks在taskmanager上分布不均衡

Xintong Song
你好,
社区此前已经发现你所遇到的问题了,会在后续版本中修复,目前规划的是在1.7.3, 1.8.2, 1.9.0几个版本中修复。详情可以参考:
https://issues.apache.org/jira/browse/FLINK-12122

Thank you~

Xintong Song



On Tue, Jul 2, 2019 at 11:27 AM Ever <[hidden email]> wrote:

> 我们测试环境的flink集群(flink 1.8),taskmanager有3个,每个有10个slot。
>
> 然后我有一个job, 其并行度是3,预期是会分布到不同taskmanager的slot上(也就是三个taskmanager各分配一个slot,
> 这样能更好的利用cpu资源).
>
> 结果发现这个job的三个task全部分配到同一个taskmanager上了。
>
> 为什么?
>
> 有什么配置可以改变这种行为吗?
>
> 我们想要的是下图Example 2这样子的, 并行度是2的时候, task能分到不同的taskmanager上。
>
>
> 谢谢!
>