通过代码修改taskmanager.memory.network配置

classic Classic list List threaded Threaded
3 messages Options
Reply | Threaded
Open this post in threaded view
|

通过代码修改taskmanager.memory.network配置

claylin
我想问下现在有方法通过在代码设置taskmanager.memory.network网络所使用的内存吗,我这里使用的是在yarn上执行yarn session方式执行作业,如果不能通过代码在作业里修改内存配置,是不是只有在flink-conf.yaml修改内存配置,然后重启yarn-session,如果这样的话感觉很麻烦
Reply | Threaded
Open this post in threaded view
|

Re: 通过代码修改taskmanager.memory.network配置

Xintong Song
我理解你说的是用 yarn-session.sh 启动 Flink 之后,希望再提交作业时更改 network memory?这个是做不到的。
network memory 是 flink 集群级别的配置,定义了集群每个 TM 有多少 network
memory,集群一旦启动之后这个值是不会变的,如果要修改就一定要重启集群。
如果希望针对不同作业使用不同的 network memory 配置,可以考虑使用 perjob
方式执行作业,这样每个作业都自己有一个集群,可以在提交作业时通过 "-D
taskmanager.memory.network.[min|max|fraction]=<value>" 的方式覆盖
flink-conf.yaml 中的默认配置。


Thank you~

Xintong Song



On Fri, Feb 14, 2020 at 9:53 AM claylin <[hidden email]> wrote:

> 我想问下现在有方法通过在代码设置taskmanager.memory.network网络所使用的内存吗,我这里使用的是在yarn上执行yarn
> session方式执行作业,如果不能通过代码在作业里修改内存配置,是不是只有在flink-conf.yaml修改内存配置,然后重启yarn-session,如果这样的话感觉很麻烦
Reply | Threaded
Open this post in threaded view
|

回复: 通过代码修改taskmanager.memory.network配置

claylin
嗯是的我是想在作业代码里面修改,谢谢大佬




------------------&nbsp;原始邮件&nbsp;------------------
发件人:&nbsp;"Xintong Song"<[hidden email]&gt;;
发送时间:&nbsp;2020年2月14日(星期五) 上午10:32
收件人:&nbsp;"user-zh"<[hidden email]&gt;;

主题:&nbsp;Re: 通过代码修改taskmanager.memory.network配置



我理解你说的是用 yarn-session.sh 启动 Flink 之后,希望再提交作业时更改 network memory?这个是做不到的。
network memory 是 flink 集群级别的配置,定义了集群每个 TM 有多少 network
memory,集群一旦启动之后这个值是不会变的,如果要修改就一定要重启集群。
如果希望针对不同作业使用不同的 network memory 配置,可以考虑使用 perjob
方式执行作业,这样每个作业都自己有一个集群,可以在提交作业时通过 "-D
taskmanager.memory.network.[min|max|fraction]=<value&gt;" 的方式覆盖
flink-conf.yaml 中的默认配置。


Thank you~

Xintong Song



On Fri, Feb 14, 2020 at 9:53 AM claylin <[hidden email]&gt; wrote:

&gt; 我想问下现在有方法通过在代码设置taskmanager.memory.network网络所使用的内存吗,我这里使用的是在yarn上执行yarn
&gt; session方式执行作业,如果不能通过代码在作业里修改内存配置,是不是只有在flink-conf.yaml修改内存配置,然后重启yarn-session,如果这样的话感觉很麻烦