Flink 有支持类似MR一样支持opts参数的变量替换么?

classic Classic list List threaded Threaded
3 messages Options
Reply | Threaded
Open this post in threaded view
|

Flink 有支持类似MR一样支持opts参数的变量替换么?

shangwen
现在一个场景是我们假设Flink的TM出现了OOM,并希望收集Dump文件,配置HeapDumpOnOutOfMemoryError,让Flink出现oom时将文件dump出来,对于MR来说,我们可以这么配置mapreduce.map.java.opts为-XX:+HeapDumpOnOutOfMemoryError -XX:HeapDumpPath=<LOG_DIR&gt;/@taskid@.hprof,通过@taskid@在启动的时候替换的方式,让收集的文件可以区分,目前对于Flink来说,有较好的方式能够做到这一点吗?
Reply | Threaded
Open this post in threaded view
|

Re: Flink 有支持类似MR一样支持opts参数的变量替换么?

godfrey he
hi shangwen, flink
支持配置 env.java.opts,env.java.opts.jobmanager,env.java.opts.taskmanager
等来配置JVM
详细请见:
https://ci.apache.org/projects/flink/flink-docs-stable/ops/config.html#jvm-and-logging-options

Best,
Godfrey


shangwen <[hidden email]> 于2020年6月2日周二 下午9:03写道:

> 现在一个场景是我们假设Flink的TM出现了OOM,并希望收集Dump文件,配置HeapDumpOnOutOfMemoryError,让Flink出现oom时将文件dump出来,对于MR来说,我们可以这么配置mapreduce.map.java.opts为-XX:+HeapDumpOnOutOfMemoryError
> -XX:HeapDumpPath=<LOG_DIR&gt;/@taskid@.hprof,通过@taskid@在启动的时候替换的方式
> ,让收集的文件可以区分,目前对于Flink来说,有较好的方式能够做到这一点吗?
Reply | Threaded
Open this post in threaded view
|

回复: Flink 有支持类似MR一样支持opts参数的变量替换么?

shangwen
感谢godfrey的回复,可能我刚才没有描述清楚,我的意思是在env.java.opts,env.java.opts.jobmanager,env.java.opts.taskmanager等参数里面支持变量替换,在我的场景下,我希望TM在启动的时候指定类似的参数-XX:+HeapDumpOnOutOfMemoryError -XX:HeapDumpPath=<LOG_DIR&gt;@taskid@.hprof,然后在启动TM的container时,能够将变量替换为对应的contianer,这样保证dump的文件唯一,而且不会被覆盖,或者,在你们使用flink的场景下,有没有好的方式解决oom的dump文件不会被覆盖的问题


------------------&nbsp;原始邮件&nbsp;------------------
发件人:&nbsp;"godfrey he"<[hidden email]&gt;;
发送时间:&nbsp;2020年6月2日(星期二) 晚上9:10
收件人:&nbsp;"user-zh"<[hidden email]&gt;;

主题:&nbsp;Re: Flink 有支持类似MR一样支持opts参数的变量替换么?



hi shangwen, flink
支持配置 env.java.opts,env.java.opts.jobmanager,env.java.opts.taskmanager
等来配置JVM
详细请见:
https://ci.apache.org/projects/flink/flink-docs-stable/ops/config.html#jvm-and-logging-options

Best,
Godfrey


shangwen <[hidden email]&gt; 于2020年6月2日周二 下午9:03写道:

&gt; 现在一个场景是我们假设Flink的TM出现了OOM,并希望收集Dump文件,配置HeapDumpOnOutOfMemoryError,让Flink出现oom时将文件dump出来,对于MR来说,我们可以这么配置mapreduce.map.java.opts为-XX:+HeapDumpOnOutOfMemoryError
&gt; -XX:HeapDumpPath=<LOG_DIR&amp;gt;/@taskid@.hprof,通过@taskid@在启动的时候替换的方式
&gt; ,让收集的文件可以区分,目前对于Flink来说,有较好的方式能够做到这一点吗?