flink集群搭建

[Dream-底限]

hi、
FlinkOnYarn集群部署是推荐使用yarn-session模式所有任务共用一个，还是推荐使用preJob模式每个任务起一个小集群

[Meng Wang]

通常使用 preJob 模式的更多，考虑点主要是资源隔离，缺点是作业需要等到 JM/TM 启动后才能运行（作业启动速度会慢一些），session 模式刚好相反，你需要评估你们的场景。


--

Best,
Matt Wang


在2020年08月10日 16:21，Dream-底限<[hidden email]> 写道：
hi、
FlinkOnYarn集群部署是推荐使用yarn-session模式所有任务共用一个，还是推荐使用preJob模式每个任务起一个小集群

[shizk233]

这个应该根据业务特性来决定吧。
如果是一些大型的streaming任务，需要长期稳定运行并且有良好的隔离性，则可以考虑perjob模式。
如果需要经常性提交一些小任务（常见于batch任务）或者说有一批相关联的任务，彼此隔离性要求也不高的，可以考虑session模式。

感觉说到底还是业务隔离性与资源的权衡。


Dream-底限 <[hidden email]> 于2020年8月10日周一 下午4:21写道：

> hi、
> FlinkOnYarn集群部署是推荐使用yarn-session模式所有任务共用一个，还是推荐使用preJob模式每个任务起一个小集群
>