Apache Flink 中文用户邮件列表

请教 yarn-session.sh启动任务指定的应用名和队列无效

classic Classic list List threaded Threaded
♦
♦
 4 messages Options
MuChen
Reply | Threaded
Open this post in threaded view
♦
♦
|

请教 yarn-session.sh启动任务指定的应用名和队列无效

MuChen
hi,all:


我有一个hadoop集群和一台机器A.


我在机器A上，使用bin/yarn-session.sh -n 5 -jm 1g -tm 4g -s 4 -qu root.flink -nm fsql-cli > /dev/null 2>&1 &命令，启动了一个yarn-session，
其中，指定了队列root.flink和应用名fsql-cli.


但是，在yarn控制台中看到应用的名称和队列跟指定的名称大多数情况下不一致（多次提交，偶尔一致），如图：
https://imgchr.com/i/NJIn4x


应用名为：Flink session cluster
队列名为：root.default


请问为什么我指定的队列名和应用名没有生效？


flink版本：1.10.0
flink-conf.yaml配置：
[fsql@10-42-63-116 conf]$ grep -v ^# flink-conf.yaml |grep -v ^$
jobmanager.rpc.address: localhost
jobmanager.rpc.port: 6123
jobmanager.heap.size: 1024m
taskmanager.memory.process.size: 2048m
taskmanager.numberOfTaskSlots: 10
parallelism.default: 1
jobmanager.execution.failover-strategy: region
Yang Wang
Reply | Threaded
Open this post in threaded view
♦
♦
|

Re: 请教 yarn-session.sh启动任务指定的应用名和队列无效

Yang Wang
你可以看一下HDFS上面staging目录($HOME/.flink/application_id)里面有client端生效的*flink-conf.yaml*
看看里面的"yarn.application.queue"和"yarn.application.name"是不是预期的值。


另外，-n参数很早就不支持了，这样设置也不会起作用的，都是动态申请TM的


Best,
Yang

MuChen <[hidden email]> 于2020年6月22日周一 下午7:32写道：

> hi,all:
>
>
> 我有一个hadoop集群和一台机器A.
>
>
> 我在机器A上，使用bin/yarn-session.sh -n 5 -jm 1g -tm 4g -s 4 -qu root.flink -nm
> fsql-cli &gt; /dev/null 2&gt;&amp;1 &amp;命令，启动了一个yarn-session，
> 其中，指定了队列root.flink和应用名fsql-cli.
>
>
> 但是，在yarn控制台中看到应用的名称和队列跟指定的名称大多数情况下不一致（多次提交，偶尔一致），如图：
> https://imgchr.com/i/NJIn4x
>
>
> 应用名为：Flink session cluster
> 队列名为：root.default
>
>
> 请问为什么我指定的队列名和应用名没有生效？
>
>
> flink版本：1.10.0
> flink-conf.yaml配置：
> [fsql@10-42-63-116 conf]$ grep -v ^# flink-conf.yaml |grep -v ^$
> jobmanager.rpc.address: localhost
> jobmanager.rpc.port: 6123
> jobmanager.heap.size: 1024m
> taskmanager.memory.process.size: 2048m
> taskmanager.numberOfTaskSlots: 10
> parallelism.default: 1
> jobmanager.execution.failover-strategy: region
MuChen
Reply | Threaded
Open this post in threaded view
♦
♦
|

回复： 请教 yarn-session.sh启动任务指定的应用名和队列无效

MuChen
hi,Yang Wang:


HDFS上面staging目录($HOME/.flink/application_id)的*flink-conf.yaml*文件中没有提交命令中指定的-qu和-nm，而且-jm和-tm也是默认值，并不是我参数中指定的值。


我把“-n”参数去掉后重新执行，所有指定参数全部生效了，应该是不支持的“-n”参数导致后面所有参数失效。


谢谢大佬的帮助


Best,
MuChen


------------------&nbsp;原始邮件&nbsp;------------------
发件人:&nbsp;"Yang Wang"<[hidden email]&gt;;
发送时间:&nbsp;2020年6月22日(星期一) 晚上8:37
收件人:&nbsp;"user-zh"<[hidden email]&gt;;

主题:&nbsp;Re: 请教 yarn-session.sh启动任务指定的应用名和队列无效



你可以看一下HDFS上面staging目录($HOME/.flink/application_id)里面有client端生效的*flink-conf.yaml*
看看里面的"yarn.application.queue"和"yarn.application.name"是不是预期的值。


另外，-n参数很早就不支持了，这样设置也不会起作用的，都是动态申请TM的


Best,
Yang

MuChen <[hidden email]&gt; 于2020年6月22日周一 下午7:32写道：

&gt; hi,all:
&gt;
&gt;
&gt; 我有一个hadoop集群和一台机器A.
&gt;
&gt;
&gt; 我在机器A上，使用bin/yarn-session.sh -n 5 -jm 1g -tm 4g -s 4 -qu root.flink -nm
&gt; fsql-cli &amp;gt; /dev/null 2&amp;gt;&amp;amp;1 &amp;amp;命令，启动了一个yarn-session，
&gt; 其中，指定了队列root.flink和应用名fsql-cli.
&gt;
&gt;
&gt; 但是，在yarn控制台中看到应用的名称和队列跟指定的名称大多数情况下不一致（多次提交，偶尔一致），如图：
&gt; https://imgchr.com/i/NJIn4x
&gt;
&gt;
&gt; 应用名为：Flink session cluster
&gt; 队列名为：root.default
&gt;
&gt;
&gt; 请问为什么我指定的队列名和应用名没有生效？
&gt;
&gt;
&gt; flink版本：1.10.0
&gt; flink-conf.yaml配置：
&gt; [fsql@10-42-63-116 conf]$ grep -v ^# flink-conf.yaml |grep -v ^$
&gt; jobmanager.rpc.address: localhost
&gt; jobmanager.rpc.port: 6123
&gt; jobmanager.heap.size: 1024m
&gt; taskmanager.memory.process.size: 2048m
&gt; taskmanager.numberOfTaskSlots: 10
&gt; parallelism.default: 1
&gt; jobmanager.execution.failover-strategy: region
Yang Wang
Reply | Threaded
Open this post in threaded view
♦
♦
|

Re: 请教 yarn-session.sh启动任务指定的应用名和队列无效

Yang Wang
目前Flink里面的实现确实是这样的，遇到不认识的option就会停下来
所以你去掉-n之后就好了

Best,
Yang

MuChen <[hidden email]> 于2020年6月22日周一 下午9:48写道：

> hi,Yang Wang:
>
>
>
> HDFS上面staging目录($HOME/.flink/application_id)的*flink-conf.yaml*文件中没有提交命令中指定的-qu和-nm，而且-jm和-tm也是默认值，并不是我参数中指定的值。
>
>
> 我把“-n”参数去掉后重新执行，所有指定参数全部生效了，应该是不支持的“-n”参数导致后面所有参数失效。
>
>
> 谢谢大佬的帮助
>
>
> Best,
> MuChen
>
>
> ------------------&nbsp;原始邮件&nbsp;------------------
> 发件人:&nbsp;"Yang Wang"<[hidden email]&gt;;
> 发送时间:&nbsp;2020年6月22日(星期一) 晚上8:37
> 收件人:&nbsp;"user-zh"<[hidden email]&gt;;
>
> 主题:&nbsp;Re: 请教 yarn-session.sh启动任务指定的应用名和队列无效
>
>
>
>
> 你可以看一下HDFS上面staging目录($HOME/.flink/application_id)里面有client端生效的*flink-conf.yaml*
> 看看里面的"yarn.application.queue"和"yarn.application.name"是不是预期的值。
>
>
> 另外，-n参数很早就不支持了，这样设置也不会起作用的，都是动态申请TM的
>
>
> Best,
> Yang
>
> MuChen <[hidden email]&gt; 于2020年6月22日周一 下午7:32写道：
>
> &gt; hi,all:
> &gt;
> &gt;
> &gt; 我有一个hadoop集群和一台机器A.
> &gt;
> &gt;
> &gt; 我在机器A上，使用bin/yarn-session.sh -n 5 -jm 1g -tm 4g -s 4 -qu root.flink
> -nm
> &gt; fsql-cli &amp;gt; /dev/null 2&amp;gt;&amp;amp;1
> &amp;amp;命令，启动了一个yarn-session，
> &gt; 其中，指定了队列root.flink和应用名fsql-cli.
> &gt;
> &gt;
> &gt; 但是，在yarn控制台中看到应用的名称和队列跟指定的名称大多数情况下不一致（多次提交，偶尔一致），如图：
> &gt; https://imgchr.com/i/NJIn4x
> &gt;
> &gt;
> &gt; 应用名为：Flink session cluster
> &gt; 队列名为：root.default
> &gt;
> &gt;
> &gt; 请问为什么我指定的队列名和应用名没有生效？
> &gt;
> &gt;
> &gt; flink版本：1.10.0
> &gt; flink-conf.yaml配置：
> &gt; [fsql@10-42-63-116 conf]$ grep -v ^# flink-conf.yaml |grep -v ^$
> &gt; jobmanager.rpc.address: localhost
> &gt; jobmanager.rpc.port: 6123
> &gt; jobmanager.heap.size: 1024m
> &gt; taskmanager.memory.process.size: 2048m
> &gt; taskmanager.numberOfTaskSlots: 10
> &gt; parallelism.default: 1
> &gt; jobmanager.execution.failover-strategy: region
Free forum by Nabble Edit this page