flink1.11 set yarn slots failed

classic Classic list List threaded Threaded
2 messages Options
Reply | Threaded
Open this post in threaded view
|

flink1.11 set yarn slots failed

Zhou Zach
Hi all,


使用如下命令,设置Number of slots per TaskManager
/opt/flink-1.11.0/bin/flink run-application -t yarn-application \
-Djobmanager.memory.process.size=1024m \
-Dtaskmanager.memory.process.size=2048m \
 -ys 4 \


发现并不能override/opt/flink-1.11.0/bin/flink/conf/flink-conf.yaml中的默认值,每次要调整只能通过更改flink-conf.yaml的方式才能生效,请问使用run-application的方式,怎样设置Number of slots per TaskManager?
另外,有哪些方式可以增Flink UI中的大Available Task Slots的值,现在每次提交作业都是0
Reply | Threaded
Open this post in threaded view
|

Re: flink1.11 set yarn slots failed

Yang Wang
-t是新引入的参数,是不支持以前的-yxxx参数的
你需要使用-Dtaskmanager.numberOfTaskSlots=4这样来设置

Zhou Zach <[hidden email]> 于2020年7月16日周四 下午2:51写道:

> Hi all,
>
>
> 使用如下命令,设置Number of slots per TaskManager
> /opt/flink-1.11.0/bin/flink run-application -t yarn-application \
> -Djobmanager.memory.process.size=1024m \
> -Dtaskmanager.memory.process.size=2048m \
>  -ys 4 \
>
>
> 发现并不能override/opt/flink-1.11.0/bin/flink/conf/flink-conf.yaml中的默认值,每次要调整只能通过更改flink-conf.yaml的方式才能生效,请问使用run-application的方式,怎样设置Number
> of slots per TaskManager?
> 另外,有哪些方式可以增Flink UI中的大Available Task Slots的值,现在每次提交作业都是0