Flink job与自己系统平台的一体化集成

classic Classic list List threaded Threaded
2 messages Options
Reply | Threaded
Open this post in threaded view
|

Flink job与自己系统平台的一体化集成

Jacob
This post was updated on .
CONTENTS DELETED
The author has deleted this message.
Thanks!
Jacob
Reply | Threaded
Open this post in threaded view
|

Re: Flink job与自己系统平台的一体化集成

冯嘉伟
Hi

可以分解为两步:
1、生成JobGraph,可以参考org.apache.flink.runtime.webmonitor.handlers.utils.JarHandlerUtils
中 toJobGraph()
2、向Yarn提交JobGraph,可以参考org.apache.flink.yarn.YarnClusterDescriptor 中
deployJobCluster()
注:1.11.x


Jacob wrote

> 有一个模糊的需求,不知道是否合理
>
> 目前我们的实时计算的Job都是以On Yarn模式运行在hadoop集群,每次提交新的job,都是在Flink客户端下面,用./bin/flink
> run-application -t yarn-application ....... 的形式去提交Job。
>
> 现在我们有自研的一个关于数据处理平台,flink
> job是数据处理的一个环节,想着能不能在我们系统的portal中配一个菜单,上传flink项目的jar包,可以提交Job到hadoop集群,形成一体化的管理,不用每次去一个flink客户端下面去提交了,不知道这种需求是否合理?
>
> 我想着如果在我们自己的平台上提交job,那是不是应该先把flink客户端先集成到我们的系统中呢,否则job如何被启动运行呢?
>
> 需求比较模糊,各位大佬见谅。
>
>
>
> -----
> Thanks!
> Jacob
> --
> Sent from: http://apache-flink.147419.n8.nabble.com/





--
Sent from: http://apache-flink.147419.n8.nabble.com/