这个应该是和你配置的HA有关,你去掉HA配置试试,或者检查一下HA配置
Best Jun
------------------ 原始邮件 ------------------
发件人: 宁吉浩 <
[hidden email]>
发送时间: 2020年9月9日 17:46
收件人: user-zh <
[hidden email]>
主题: 回复:flink1.9.3 on yarn 提交任务问题
我使用如下两条命令提交,发现两个任务共使用一个flink-ui
在ui里取消任意一个job,将会使整个集群被取消,这个应该不是正常情况吧?
或者说,是我的提交命令有问题吗?
ps: -d 参数也增加过,没作用
nohup /data2/workspace/flink/flink-1.9.3/bin/flink run -m yarn-cluster \
-yn 1 -ys 3 -p 3 -ytm 2048m -ynm test \
-c aa.class aaa.jar \ &
nohup /data2/workspace/flink/flink-1.9.3/bin/flink run -m yarn-cluster \
-yn 1 -ys 3 -p 3 -ytm 2048m -ynm test2 \
-c bb.class bbb.jar \ &
------------------------------------------------------------------
发件人:zheng faaron <
[hidden email]>
发送时间:2020年9月8日(星期二) 16:09
收件人:
[hidden email] <
[hidden email]>
主 题:Re: flink1.9.3 on yarn 提交任务问题
Hi,
第一个问题,per-job的方式和session的方式在运行时是不在一个ui中的。
第二个问题,可以配置yarn. container. vcore
Best,
Faaron Zheng
________________________________
From: 宁吉浩 <
[hidden email]>
Sent: Monday, September 7, 2020 3:23:12 PM
To: user-zh <
[hidden email]>
Subject: flink1.9.3 on yarn 提交任务问题
我选择用 bin/flink run -m yarn cluster 的方式提交任务;
遇到了两个问题:
1. 这两个任务在一个flink集群ui里可见,甚至和之前的flink-session(测试使用)集群在同一个ui里, 这是正常现象吗?
2. 我知道可以通过并行度和slot的指定来确定 tm的数量,查看下图,两个任务一共占用了yarn的8个容器,请问 cpu这个该如何设定?
ps: 之前使用spark 可以直接设定 执行器核心数量,现在找不到方法,总不能一个tm8个solt,就使用一个cpu吧
[cid:__aliyun159946339265863261]