有什么方式基于yarn集群直接运行flink任务（仅部署yarn集群，不部署flink）

[nobleyd]

如题，我直接5机器部署yarn集群，上边未部署flink。
能否直接提交flink任务到该集群呢？
类似于打包提交的任务是一个包括了flink完整包的效果。

[Xiao Xu]

flink yarn 有个 job 发布方式,
https://ci.apache.org/projects/flink/flink-docs-release-1.11/ops/deployment/yarn_setup.html#run-a-single-flink-job-on-yarn
提交包就行了, 会自动拉起 Flink 集群运行任务, 任务结束集群自动销毁

赵一旦 <[hidden email]> 于2020年8月19日周三 下午5:54写道：

> 如题，我直接5机器部署yarn集群，上边未部署flink。
> 能否直接提交flink任务到该集群呢？
> 类似于打包提交的任务是一个包括了flink完整包的效果。
>

[nobleyd]

没太懂，yarn部分没自己部署过，yarn集群部署好（假设5台机器），那么这5台机器上不部署任何flink相关dist包就可以嘛。
比如我从额外一台机器6作为提交任务的机器，向yarn集群提交flink任务。但是我的jar也只包含用户jar呀，yarn容器中运行的jobmanager/taskmanager等进程使用的flink的dist包从哪来呢？


徐骁 <[hidden email]> 于2020年8月19日周三 下午7:58写道：

> flink yarn 有个 job 发布方式,
>
> https://ci.apache.org/projects/flink/flink-docs-release-1.11/ops/deployment/yarn_setup.html#run-a-single-flink-job-on-yarn
> 提交包就行了, 会自动拉起 Flink 集群运行任务, 任务结束集群自动销毁
>
> 赵一旦 <[hidden email]> 于2020年8月19日周三 下午5:54写道：
>
> > 如题，我直接5机器部署yarn集群，上边未部署flink。
> > 能否直接提交flink任务到该集群呢？
> > 类似于打包提交的任务是一个包括了flink完整包的效果。
> >
>

[Xiao Xu]

这个命令会把 flink-dist 提交到 hdfs 上的

赵一旦 <[hidden email]> 于2020年8月19日周三 下午10:10写道：

> 没太懂，yarn部分没自己部署过，yarn集群部署好（假设5台机器），那么这5台机器上不部署任何flink相关dist包就可以嘛。
>
> 比如我从额外一台机器6作为提交任务的机器，向yarn集群提交flink任务。但是我的jar也只包含用户jar呀，yarn容器中运行的jobmanager/taskmanager等进程使用的flink的dist包从哪来呢？
>
>
> 徐骁 <[hidden email]> 于2020年8月19日周三 下午7:58写道：
>
> > flink yarn 有个 job 发布方式,
> >
> >
> https://ci.apache.org/projects/flink/flink-docs-release-1.11/ops/deployment/yarn_setup.html#run-a-single-flink-job-on-yarn
> > 提交包就行了, 会自动拉起 Flink 集群运行任务, 任务结束集群自动销毁
> >
> > 赵一旦 <[hidden email]> 于2020年8月19日周三 下午5:54写道：
> >
> > > 如题，我直接5机器部署yarn集群，上边未部署flink。
> > > 能否直接提交flink任务到该集群呢？
> > > 类似于打包提交的任务是一个包括了flink完整包的效果。
> > >
> >
>

[caozhen]

赵一旦 wrote
> 没太懂，yarn部分没自己部署过，yarn集群部署好（假设5台机器），那么这5台机器上不部署任何flink相关dist包就可以嘛。
> 比如我从额外一台机器6作为提交任务的机器，向yarn集群提交flink任务。但是我的jar也只包含用户jar呀，yarn容器中运行的jobmanager/taskmanager等进程使用的flink的dist包从哪来呢？
>
>
> 徐骁 &lt;

> ffxrqyzby@

> &gt; 于2020年8月19日周三 下午7:58写道：
>
>> flink yarn 有个 job 发布方式,
>>
>> https://ci.apache.org/projects/flink/flink-docs-release-1.11/ops/deployment/yarn_setup.html#run-a-single-flink-job-on-yarn
>> 提交包就行了, 会自动拉起 Flink 集群运行任务, 任务结束集群自动销毁
>>
>> 赵一旦 &lt;

> hinobleyd@

> &gt; 于2020年8月19日周三 下午5:54写道：
>>
>> > 如题，我直接5机器部署yarn集群，上边未部署flink。
>> > 能否直接提交flink任务到该集群呢？
>> > 类似于打包提交的任务是一个包括了flink完整包的效果。
>> >
>>





yarn
per-job模式，在一台机器放个flink客户端，通过客户端提交作业到yarn集群，提交过程中，flink依赖的classpath会被上传到hdfs，使用的时候分发到TM



--
Sent from: http://apache-flink.147419.n8.nabble.com/