flink on yarn session模式与yarn通信失败的问题 (job模式可以成功)

classic Classic list List threaded Threaded
3 messages Options
Reply | Threaded
Open this post in threaded view
|

flink on yarn session模式与yarn通信失败的问题 (job模式可以成功)

刘乘九
大佬们请教一下:
之前一直使用job模式来提交任务,可以顺利提交计算任务。最近有需求比较适合session模式来提交,按照论坛里的教程进行提交的时候,一直报错连接不上resource  manage。观察启动log发现两种任务连接的resource manage不同,一个是正确的端口,一个一直请求本机端口。

session  模式启动log:

job  模式启动log:


想请教一下:
             1.如何配置session 模式下的  resource  manage 端口?

             2.job 模式下假如我有一个8核taskmanage服务器A配置了16个slot。job 模式提交了一个并行度为5的任务分配到了服务器A,再通过job模式提交任务的话,就不能有任务分配到服务器A了。我有办法将剩下空闲的slot利用起来吗?或者是设计上就是对小规模的任务,减少信息传递来提升计算完成的时间?



 



 

Reply | Threaded
Open this post in threaded view
|

Re: flink on yarn session模式与yarn通信失败的问题 (job模式可以成功)

wxpcc
第一个问题可以尝试在flink.conf 中配上jobmanager.rpc.address 和jobmanager.rpc.port
第二个问题不是很清楚



--
Sent from: http://apache-flink.147419.n8.nabble.com/
Reply | Threaded
Open this post in threaded view
|

Re:Re: flink on yarn session模式与yarn通信失败的问题 (job模式可以成功)

刘乘九

多谢大佬呀~尝试了一下没有解决。这两个参数有配置上,启动的时候也显示的与配置中一致。看上面的注释说好像仅Standalone 模式下有效,而且奇怪的是pre-job可以很顺利  session却连不上。对啦我的版本是1.11.2,大佬有空再帮忙看一眼呀





在 2021-03-23 09:28:20,"wxpcc" <[hidden email]> 写道: >第一个问题可以尝试在flink.conf 中配上jobmanager.rpc.address 和jobmanager.rpc.port >第二个问题不是很清楚 > > > >-- >Sent from: http://apache-flink.147419.n8.nabble.com/