flink1.9.3 on yarn 提交任务问题

classic Classic list List threaded Threaded
3 messages Options
Reply | Threaded
Open this post in threaded view
|

flink1.9.3 on yarn 提交任务问题

宁吉浩
我选择用 bin/flink run -m yarn cluster 的方式提交任务;
遇到了两个问题: 
1. 这两个任务在一个flink集群ui里可见,甚至和之前的flink-session(测试使用)集群在同一个ui里, 这是正常现象吗?
2. 我知道可以通过并行度和slot的指定来确定 tm的数量,查看下图,两个任务一共占用了yarn的8个容器,请问 cpu这个该如何设定?
ps: 之前使用spark 可以直接设定 执行器核心数量,现在找不到方法,总不能一个tm8个solt,就使用一个cpu吧
Reply | Threaded
Open this post in threaded view
|

Re: flink1.9.3 on yarn 提交任务问题

faaron zheng
Hi,

第一个问题,per-job的方式和session的方式在运行时是不在一个ui中的。

第二个问题,可以配置yarn. container. vcore

Best,
Faaron Zheng

________________________________
From: 宁吉浩 <[hidden email]>
Sent: Monday, September 7, 2020 3:23:12 PM
To: user-zh <[hidden email]>
Subject: flink1.9.3 on yarn 提交任务问题

我选择用 bin/flink run -m yarn cluster 的方式提交任务;
遇到了两个问题:
1. 这两个任务在一个flink集群ui里可见,甚至和之前的flink-session(测试使用)集群在同一个ui里, 这是正常现象吗?
2. 我知道可以通过并行度和slot的指定来确定 tm的数量,查看下图,两个任务一共占用了yarn的8个容器,请问 cpu这个该如何设定?
ps: 之前使用spark 可以直接设定 执行器核心数量,现在找不到方法,总不能一个tm8个solt,就使用一个cpu吧
[cid:__aliyun159946339265863261]
Reply | Threaded
Open this post in threaded view
|

回复:flink1.9.3 on yarn 提交任务问题

宁吉浩

我使用如下两条命令提交,发现两个任务共使用一个flink-ui
在ui里取消任意一个job,将会使整个集群被取消,这个应该不是正常情况吧?
或者说,是我的提交命令有问题吗?
ps: -d 参数也增加过,没作用

nohup /data2/workspace/flink/flink-1.9.3/bin/flink run -m yarn-cluster \
-yn 1 -ys 3 -p 3  -ytm 2048m -ynm test \
-c aa.class aaa.jar \ &
nohup /data2/workspace/flink/flink-1.9.3/bin/flink run -m yarn-cluster \
-yn 1 -ys 3 -p 3  -ytm 2048m -ynm test2 \
-c bb.class bbb.jar \ &


------------------------------------------------------------------
发件人:zheng faaron <[hidden email]>
发送时间:2020年9月8日(星期二) 16:09
收件人:[hidden email] <[hidden email]>
主 题:Re: flink1.9.3 on yarn 提交任务问题

Hi,

第一个问题,per-job的方式和session的方式在运行时是不在一个ui中的。

第二个问题,可以配置yarn. container. vcore

Best,
Faaron Zheng

________________________________
From: 宁吉浩 <[hidden email]>
Sent: Monday, September 7, 2020 3:23:12 PM
To: user-zh <[hidden email]>
Subject: flink1.9.3 on yarn 提交任务问题

我选择用 bin/flink run -m yarn cluster 的方式提交任务;
遇到了两个问题:
1. 这两个任务在一个flink集群ui里可见,甚至和之前的flink-session(测试使用)集群在同一个ui里, 这是正常现象吗?
2. 我知道可以通过并行度和slot的指定来确定 tm的数量,查看下图,两个任务一共占用了yarn的8个容器,请问 cpu这个该如何设定?
ps: 之前使用spark 可以直接设定 执行器核心数量,现在找不到方法,总不能一个tm8个solt,就使用一个cpu吧
[cid:__aliyun159946339265863261]