flink on yarn默认GC的问题

[shizk233]

Hi all,

请教一下，flink自从1.10开始默认GC就是G1了，在taskmanager.sh脚本中也能看到。
在*默认设置*下，能观察到本地flink使用的G1，但on yarn运行时却发现使用的是PS，想请教下这是为什么？是yarn会对应用有一些默认设置吗？

我搜索了一些相关资料，但仍然没有搞清楚这是怎么回事，希望有了解的朋友帮忙解答下。感谢！

备注：我可以通过在flink-conf.yaml中设置env.java.opts: -XX:+UseG1GC来使flink on yarn也使用G1。

[Xintong Song]

taskmanager.sh 是 standalone 模式使用的启动脚本。docker 模式和老的 kubernetes session
模式本质上也可以看做是 standalone 模式，也会用到这些脚本。
而 yarn 和新的 native kubernetes 则都是由 client 向集群提交应用的时候指定启动命令，默认是没有指定的 GC
collector 的。

Thank you~

Xintong Song



On Mon, Aug 24, 2020 at 5:26 PM shizk233 <[hidden email]>
wrote:

> Hi all,
>
> 请教一下，flink自从1.10开始默认GC就是G1了，在taskmanager.sh脚本中也能看到。
> 在*默认设置*下，能观察到本地flink使用的G1，但on yarn运行时却发现使用的是PS，想请教下这是为什么？是yarn会对应用有一些默认设置吗？
>
> 我搜索了一些相关资料，但仍然没有搞清楚这是怎么回事，希望有了解的朋友帮忙解答下。感谢！
>
> 备注：我可以通过在flink-conf.yaml中设置env.java.opts: -XX:+UseG1GC来使flink on yarn也使用G1。
>

[shizk233]

了解了，谢谢🙏

Xintong Song <[hidden email]> 于2020年8月25日周二 上午9:59写道：

> taskmanager.sh 是 standalone 模式使用的启动脚本。docker 模式和老的 kubernetes session
> 模式本质上也可以看做是 standalone 模式，也会用到这些脚本。
> 而 yarn 和新的 native kubernetes 则都是由 client 向集群提交应用的时候指定启动命令，默认是没有指定的 GC
> collector 的。
>
> Thank you~
>
> Xintong Song
>
>
>
> On Mon, Aug 24, 2020 at 5:26 PM shizk233 <[hidden email]>
> wrote:
>
> > Hi all,
> >
> > 请教一下，flink自从1.10开始默认GC就是G1了，在taskmanager.sh脚本中也能看到。
> > 在*默认设置*下，能观察到本地flink使用的G1，但on
> yarn运行时却发现使用的是PS，想请教下这是为什么？是yarn会对应用有一些默认设置吗？
> >
> > 我搜索了一些相关资料，但仍然没有搞清楚这是怎么回事，希望有了解的朋友帮忙解答下。感谢！
> >
> > 备注：我可以通过在flink-conf.yaml中设置env.java.opts: -XX:+UseG1GC来使flink on
> yarn也使用G1。
> >
>