flink on yarn , JobManager和ApplicationMaster的关

classic Classic list List threaded Threaded
4 messages Options
lp
Reply | Threaded
Open this post in threaded view
|

flink on yarn , JobManager和ApplicationMaster的关

lp
flink on yarn中,yarn的applicationMaster和flink
JobManager的关系是啥,我对yarn不是很熟悉,之前的理解是
JobManager就是yarn中的applicationMaster的角色。但我在官网中看到如下摘录:...Once that has
finished, the ApplicationMaster (AM) is started.The JobManager and AM are
running in the same container. Once they successfully started, the AM knows
the address of the JobManager (its own host).  说明 AM和JM是两个进程,可是我将flink
job提交到yarn集群,只看到有jobManager进程(YarnJobClusterEntrypoint),并没有看到过ApplicationMaster进程,请帮忙解释他们之间的联系和区别?



--
Sent from: http://apache-flink.147419.n8.nabble.com/
lp
Reply | Threaded
Open this post in threaded view
|

Re: flink on yarn , JobManager和ApplicationMaster的关

lp
或者说,我知道,对于MapReduce任务,ApplicationMaster的实现是MRAppMaster,那flink on yarn
,ApplicationMaster对应的实现是啥?



--
Sent from: http://apache-flink.147419.n8.nabble.com/
Reply | Threaded
Open this post in threaded view
|

Re: flink on yarn , JobManager和ApplicationMaster的关

Xintong Song
你之前的理解是正确的。Yarn 的 AM 就是 Flink 的 JM。

你看到的文档描述是有问题的。我查了一下 git history,你所摘录的内容 2014 年撰写的,描述的应该是项目初期的 on yarn
部署方式,早已经过时了。这部分内容在最新的 1.12 版本文档中已经被移除了。

Thank you~

Xintong Song



On Tue, Feb 2, 2021 at 6:43 PM lp <[hidden email]> wrote:

> 或者说,我知道,对于MapReduce任务,ApplicationMaster的实现是MRAppMaster,那flink on yarn
> ,ApplicationMaster对应的实现是啥?
>
>
>
> --
> Sent from: http://apache-flink.147419.n8.nabble.com/
>
lp
Reply | Threaded
Open this post in threaded view
|

Re: flink on yarn , JobManager和ApplicationMaster的关

lp
谢谢!
我摘录的是flink1.11.2版本文档最后那部分:Background / Internals,介绍flink 如何在yarn上运行的
的内容:https://ci.apache.org/projects/flink/flink-docs-release-1.11/ops/deployment/yarn_setup.html 
。感觉版本比较新了,应该没有问题吧,也是我们生产上在用的版本。1.12版本中没有找到相关内容。
仔细看了下文档,可能是我对flink on yarn的理解不太清楚,还是有几个问题请教下:
①flink on yarn模式下,jobmanager 和
appLicationMaster是两个独立的线程的概念,运行在一个container这个JVM里面的,对么?
②flink on yarn per-job mod提交作业后,节点上执行jps,
有YarnJobClusterEntrypoint和YarnTaskExecutorRunner这两个进程,这两个进程是什么?
③1.12版本有最新的关于flink on yarn 运行原理的介绍吗,我在官网没有看到这部分内容





--
Sent from: http://apache-flink.147419.n8.nabble.com/