flink1.11任务资源分批

classic Classic list List threaded Threaded
2 messages Options
Reply | Threaded
Open this post in threaded view
|

flink1.11任务资源分批

Dream-底限
hi、
请问如果想要flink任务自动扩缩容有什么办法吗,反压的时候自动加资源,然后在自动缩。。。。。
Reply | Threaded
Open this post in threaded view
|

Re: flink1.11任务资源分批

Xintong Song
目前 flink 是不支持运行时扩缩容的。

如果要做的话,只能是从外部根据 metrics 判断反压,然后停掉之前的作业,修改并发后再重新提交作业,从之前的 checkpoint 恢复。

目前社区正在准备一项 declarative resource management 的工作,让 flink
作业的并发度自动适配可用资源。这项工作完成后,可以通过从外部调整可用资源数量来调整作业的并发度。

Thank you~

Xintong Song



On Mon, Aug 17, 2020 at 11:34 AM Dream-底限 <[hidden email]> wrote:

> hi、
> 请问如果想要flink任务自动扩缩容有什么办法吗,反压的时候自动加资源,然后在自动缩。。。。。
>