物理机内存:124G当进行如下设置时候
taskmanager.memory.process.size: 65536m es5-connector sink数据 此时会出现频繁fullgc java.lang.OutOfMemoryError: Metaspace 当我设置 taskmanager.memory.process.size: 1568m es5-connector sink数据 不会出现溢出问题 这个问题非常的困扰,实在不明白,我设置大内存之后,并没有影响到metaspace,而且当用系统默认内存时候竟然不出错,百思不得其解。望能够帮助理解下 上述操作重复试验很多次都是一样结果 |
Metaspace OOM 通常是 JVM 加载的类过多导致的。TM 内存从 1568m 增大到 65536m,是否有增加 slot
的数量呢?这个有可能造成运行时加载的类变多,metaspace 大小不变的情况下也可能会触发 OOM。 目前社区已经收到许多反馈,关于 1.10.0 的默认 metaspace 大小可能不太合理,在 1.10.1 中会调大这个默认值。你这边也可以先把 taskmanager.memory.metaspace.size 调到 256m 试一试。 Thank you~ Xintong Song On Tue, Apr 28, 2020 at 7:21 PM 出发 <[hidden email]> wrote: > 物理机内存:124G当进行如下设置时候 > taskmanager.memory.process.size: 65536m > > es5-connector sink数据 > 此时会出现频繁fullgc java.lang.OutOfMemoryError: Metaspace > > > > 当我设置 > taskmanager.memory.process.size: 1568m > es5-connector sink数据 > 不会出现溢出问题 > > > 这个问题非常的困扰,实在不明白,我设置大内存之后,并没有影响到metaspace,而且当用系统默认内存时候竟然不出错,百思不得其解。望能够帮助理解下 > 上述操作重复试验很多次都是一样结果 |
除了 memory增加,其余配置还是使用默认的。就是不明白,为什么我内存增加了,反而会出现full gc情况,之后taskmanager失去心跳,然后继续提交job,出现metaspace溢出这个情况。
在使用默认配置内存时候反而是没有出现fullgc。想明白其中缘由。 ------------------ 原始邮件 ------------------ 发件人: "Xintong Song"<[hidden email]>; 发送时间: 2020年4月29日(星期三) 中午11:00 收件人: "user-zh"<[hidden email]>; 主题: Re: flink 内存设置问题-metaspace 溢出 Metaspace OOM 通常是 JVM 加载的类过多导致的。TM 内存从 1568m 增大到 65536m,是否有增加 slot 的数量呢?这个有可能造成运行时加载的类变多,metaspace 大小不变的情况下也可能会触发 OOM。 目前社区已经收到许多反馈,关于 1.10.0 的默认 metaspace 大小可能不太合理,在 1.10.1 中会调大这个默认值。你这边也可以先把 taskmanager.memory.metaspace.size 调到 256m 试一试。 Thank you~ Xintong Song On Tue, Apr 28, 2020 at 7:21 PM 出发 <[hidden email]> wrote: > 物理机内存:124G当进行如下设置时候 > taskmanager.memory.process.size: 65536m > > es5-connector sink数据 > 此时会出现频繁fullgc java.lang.OutOfMemoryError: Metaspace > > > > 当我设置 > taskmanager.memory.process.size: 1568m > es5-connector sink数据 > 不会出现溢出问题 > > > 这个问题非常的困扰,实在不明白,我设置大内存之后,并没有影响到metaspace,而且当用系统默认内存时候竟然不出错,百思不得其解。望能够帮助理解下 > 上述操作重复试验很多次都是一样结果 |
In reply to this post by Xintong Song
除了 memory增加,其余配置还是使用默认的。就是不明白,为什么我内存增加了,反而会出现full gc情况,之后taskmanager失去心跳,然后继续提交job,出现metaspace溢出这个情况。
在使用默认配置内存时候反而是没有出现fullgc。想明白其中缘由。 ------------------ 原始邮件 ------------------ 发件人: "Xintong Song"<[hidden email]>; 发送时间: 2020年4月29日(星期三) 中午11:00 收件人: "user-zh"<[hidden email]>; 主题: Re: flink 内存设置问题-metaspace 溢出 Metaspace OOM 通常是 JVM 加载的类过多导致的。TM 内存从 1568m 增大到 65536m,是否有增加 slot 的数量呢?这个有可能造成运行时加载的类变多,metaspace 大小不变的情况下也可能会触发 OOM。 目前社区已经收到许多反馈,关于 1.10.0 的默认 metaspace 大小可能不太合理,在 1.10.1 中会调大这个默认值。你这边也可以先把 taskmanager.memory.metaspace.size 调到 256m 试一试。 Thank you~ Xintong Song On Tue, Apr 28, 2020 at 7:21 PM 出发 <[hidden email]> wrote: > 物理机内存:124G当进行如下设置时候 > taskmanager.memory.process.size: 65536m > > es5-connector sink数据 > 此时会出现频繁fullgc java.lang.OutOfMemoryError: Metaspace > > > > 当我设置 > taskmanager.memory.process.size: 1568m > es5-connector sink数据 > 不会出现溢出问题 > > > 这个问题非常的困扰,实在不明白,我设置大内存之后,并没有影响到metaspace,而且当用系统默认内存时候竟然不出错,百思不得其解。望能够帮助理解下 > 上述操作重复试验很多次都是一样结果 |
full GC 应该不是增大内存后才出现的,这一点可以确认一下 GC log。但是增大内存,可能会造成一次 full GC 花费的时间更长,从而导致
TM 心跳超时。 同样的,metaspace OOM 也可能是由于 GC 速度变慢造成的。JVM 有单独的线程负责 GC,通常是在 heap/direct/metaspace 这些区域用满之前达到某个阈值就开始 GC,如果 GC 速度慢于内存申请的速度,也有可能造成 OOM。 按照我们的经验,一个 TM 用 64G 也是比较大了,如果都是以 java heap 内存为主的话,那可能需要具体配一下 GC 策略。 Thank you~ Xintong Song On Wed, Apr 29, 2020 at 12:27 PM 了不起的盖茨比 <[hidden email]> wrote: > 除了 memory增加,其余配置还是使用默认的。就是不明白,为什么我内存增加了,反而会出现full > gc情况,之后taskmanager失去心跳,然后继续提交job,出现metaspace溢出这个情况。 > 在使用默认配置内存时候反而是没有出现fullgc。想明白其中缘由。 > > > > > > ------------------ 原始邮件 ------------------ > 发件人: "Xintong Song"<[hidden email]>; > 发送时间: 2020年4月29日(星期三) 中午11:00 > 收件人: "user-zh"<[hidden email]>; > > 主题: Re: flink 内存设置问题-metaspace 溢出 > > > > Metaspace OOM 通常是 JVM 加载的类过多导致的。TM 内存从 1568m 增大到 65536m,是否有增加 slot > 的数量呢?这个有可能造成运行时加载的类变多,metaspace 大小不变的情况下也可能会触发 OOM。 > 目前社区已经收到许多反馈,关于 1.10.0 的默认 metaspace 大小可能不太合理,在 1.10.1 中会调大这个默认值。你这边也可以先把 > taskmanager.memory.metaspace.size 调到 256m 试一试。 > > Thank you~ > > Xintong Song > > > > On Tue, Apr 28, 2020 at 7:21 PM 出发 <[hidden email]> wrote: > > > 物理机内存:124G当进行如下设置时候 > > taskmanager.memory.process.size: 65536m > > > > es5-connector sink数据 > > 此时会出现频繁fullgc java.lang.OutOfMemoryError: Metaspace > > > > > > > > 当我设置 > > taskmanager.memory.process.size: 1568m > > es5-connector sink数据 > > 不会出现溢出问题 > > > > > > > 这个问题非常的困扰,实在不明白,我设置大内存之后,并没有影响到metaspace,而且当用系统默认内存时候竟然不出错,百思不得其解。望能够帮助理解下 > > 上述操作重复试验很多次都是一样结果 |
https://gceasy.io/my-gc-report.jsp?p=YXJjaGl2ZWQvMjAyMC8wNC8yOC8tLWdjLmxvZy0tNC0xMC01Ng==&channel=WEB 这是我在gceasy分析出来的报告,看了log,确实是加大内存时候,出现的,第一次去看这个log,还请大佬帮忙看看,附件也上传了log了。 ------------------ 原始邮件 ------------------ 发件人: "Xintong Song"<[hidden email]>; 发送时间: 2020年4月29日(星期三) 中午12:45 收件人: "user-zh"<[hidden email]>; 主题: Re: flink 内存设置问题-metaspace 溢出 TM 心跳超时。 同样的,metaspace OOM 也可能是由于 GC 速度变慢造成的。JVM 有单独的线程负责 GC,通常是在 heap/direct/metaspace 这些区域用满之前达到某个阈值就开始 GC,如果 GC 速度慢于内存申请的速度,也有可能造成 OOM。 按照我们的经验,一个 TM 用 64G 也是比较大了,如果都是以 java heap 内存为主的话,那可能需要具体配一下 GC 策略。 Thank you~ Xintong Song On Wed, Apr 29, 2020 at 12:27 PM 了不起的盖茨比 <[hidden email]> wrote: > 除了 memory增加,其余配置还是使用默认的。就是不明白,为什么我内存增加了,反而会出现full > gc情况,之后taskmanager失去心跳,然后继续提交job,出现metaspace溢出这个情况。 > 在使用默认配置内存时候反而是没有出现fullgc。想明白其中缘由。 > > > > > > ------------------ 原始邮件 ------------------ > 发件人: "Xintong Song"<[hidden email]>; > 发送时间: 2020年4月29日(星期三) 中午11:00 > 收件人: "user-zh"<[hidden email]>; > > 主题: Re: flink 内存设置问题-metaspace 溢出 > > > > Metaspace OOM 通常是 JVM 加载的类过多导致的。TM 内存从 1568m 增大到 65536m,是否有增加 slot > 的数量呢?这个有可能造成运行时加载的类变多,metaspace 大小不变的情况下也可能会触发 OOM。 > 目前社区已经收到许多反馈,关于 1.10.0 的默认 metaspace 大小可能不太合理,在 1.10.1 中会调大这个默认值。你这边也可以先把 > taskmanager.memory.metaspace.size 调到 256m 试一试。 > > Thank you~ > > Xintong Song > > > > On Tue, Apr 28, 2020 at 7:21 PM 出发 <[hidden email]> wrote: > > > 物理机内存:124G当进行如下设置时候 > > taskmanager.memory.process.size: 65536m > > > > es5-connector sink数据 > > 此时会出现频繁fullgc java.lang.OutOfMemoryError: Metaspace > > > > > > > > 当我设置 > > taskmanager.memory.process.size: 1568m > > es5-connector sink数据 > > 不会出现溢出问题 > > > > > > > 这个问题非常的困扰,实在不明白,我设置大内存之后,并没有影响到metaspace,而且当用系统默认内存时候竟然不出错,百思不得其解。望能够帮助理解下 > > 上述操作重复试验很多次都是一样结果 |
可以看看介绍: https://flink.apache.org/news/2020/04/21/memory-management-improvements-flink-1.10.html
后续改进: https://issues.apache.org/jira/browse/FLINK-16406 在 2020-04-29 14:09:21,"了不起的盖茨比" <[hidden email]> 写道: https://gceasy.io/my-gc-report.jsp?p=YXJjaGl2ZWQvMjAyMC8wNC8yOC8tLWdjLmxvZy0tNC0xMC01Ng==&channel=WEB 这是我在gceasy分析出来的报告,看了log,确实是加大内存时候,出现的,第一次去看这个log,还请大佬帮忙看看,附件也上传了log了。 ------------------ 原始邮件 ------------------ 发件人: "Xintong Song"<[hidden email]>; 发送时间: 2020年4月29日(星期三) 中午12:45 收件人: "user-zh"<[hidden email]>; 主题: Re: flink 内存设置问题-metaspace 溢出 full GC 应该不是增大内存后才出现的,这一点可以确认一下 GC log。但是增大内存,可能会造成一次 full GC 花费的时间更长,从而导致 TM 心跳超时。 同样的,metaspace OOM 也可能是由于 GC 速度变慢造成的。JVM 有单独的线程负责 GC,通常是在 heap/direct/metaspace 这些区域用满之前达到某个阈值就开始 GC,如果 GC 速度慢于内存申请的速度,也有可能造成 OOM。 按照我们的经验,一个 TM 用 64G 也是比较大了,如果都是以 java heap 内存为主的话,那可能需要具体配一下 GC 策略。 Thank you~ Xintong Song On Wed, Apr 29, 2020 at 12:27 PM 了不起的盖茨比 <[hidden email]> wrote: > 除了 memory增加,其余配置还是使用默认的。就是不明白,为什么我内存增加了,反而会出现full > gc情况,之后taskmanager失去心跳,然后继续提交job,出现metaspace溢出这个情况。 > 在使用默认配置内存时候反而是没有出现fullgc。想明白其中缘由。 > > > > > > ------------------ 原始邮件 ------------------ > 发件人: "Xintong Song"<[hidden email]>; > 发送时间: 2020年4月29日(星期三) 中午11:00 > 收件人: "user-zh"<[hidden email]>; > > 主题: Re: flink 内存设置问题-metaspace 溢出 > > > > Metaspace OOM 通常是 JVM 加载的类过多导致的。TM 内存从 1568m 增大到 65536m,是否有增加 slot > 的数量呢?这个有可能造成运行时加载的类变多,metaspace 大小不变的情况下也可能会触发 OOM。 > 目前社区已经收到许多反馈,关于 1.10.0 的默认 metaspace 大小可能不太合理,在 1.10.1 中会调大这个默认值。你这边也可以先把 > taskmanager.memory.metaspace.size 调到 256m 试一试。 > > Thank you~ > > Xintong Song > > > > On Tue, Apr 28, 2020 at 7:21 PM 出发 <[hidden email]> wrote: > > > 物理机内存:124G当进行如下设置时候 > > taskmanager.memory.process.size: 65536m > > > > es5-connector sink数据 > > 此时会出现频繁fullgc java.lang.OutOfMemoryError: Metaspace > > > > > > > > 当我设置 > > taskmanager.memory.process.size: 1568m > > es5-connector sink数据 > > 不会出现溢出问题 > > > > > > > 这个问题非常的困扰,实在不明白,我设置大内存之后,并没有影响到metaspace,而且当用系统默认内存时候竟然不出错,百思不得其解。望能够帮助理解下 > > 上述操作重复试验很多次都是一样结果 |
嗯呢谢谢我去看看
------------------ 原始邮件 ------------------ 发件人: "Michael Ran"<[hidden email]>; 发送时间: 2020年4月29日(星期三) 下午2:55 收件人: "user-zh"<[hidden email]>; 主题: Re:回复: flink 内存设置问题-metaspace 溢出 可以看看介绍: https://flink.apache.org/news/2020/04/21/memory-management-improvements-flink-1.10.html 后续改进: https://issues.apache.org/jira/browse/FLINK-16406 在 2020-04-29 14:09:21,"了不起的盖茨比" <[hidden email]> 写道: https://gceasy.io/my-gc-report.jsp?p=YXJjaGl2ZWQvMjAyMC8wNC8yOC8tLWdjLmxvZy0tNC0xMC01Ng==&channel=WEB 这是我在gceasy分析出来的报告,看了log,确实是加大内存时候,出现的,第一次去看这个log,还请大佬帮忙看看,附件也上传了log了。 ------------------ 原始邮件 ------------------ 发件人: "Xintong Song"<[hidden email]>; 发送时间: 2020年4月29日(星期三) 中午12:45 收件人: "user-zh"<[hidden email]>; 主题: Re: flink 内存设置问题-metaspace 溢出 full GC 应该不是增大内存后才出现的,这一点可以确认一下 GC log。但是增大内存,可能会造成一次 full GC 花费的时间更长,从而导致 TM 心跳超时。 同样的,metaspace OOM 也可能是由于 GC 速度变慢造成的。JVM 有单独的线程负责 GC,通常是在 heap/direct/metaspace 这些区域用满之前达到某个阈值就开始 GC,如果 GC 速度慢于内存申请的速度,也有可能造成 OOM。 按照我们的经验,一个 TM 用 64G 也是比较大了,如果都是以 java heap 内存为主的话,那可能需要具体配一下 GC 策略。 Thank you~ Xintong Song On Wed, Apr 29, 2020 at 12:27 PM 了不起的盖茨比 <[hidden email]> wrote: > 除了 memory增加,其余配置还是使用默认的。就是不明白,为什么我内存增加了,反而会出现full > gc情况,之后taskmanager失去心跳,然后继续提交job,出现metaspace溢出这个情况。 > 在使用默认配置内存时候反而是没有出现fullgc。想明白其中缘由。 > > > > > > ------------------&nbsp;原始邮件&nbsp;------------------ > 发件人:&nbsp;"Xintong Song"<[hidden email]&gt;; > 发送时间:&nbsp;2020年4月29日(星期三) 中午11:00 > 收件人:&nbsp;"user-zh"<[hidden email]&gt;; > > 主题:&nbsp;Re: flink 内存设置问题-metaspace 溢出 > > > > Metaspace OOM 通常是 JVM 加载的类过多导致的。TM 内存从 1568m 增大到 65536m,是否有增加 slot > 的数量呢?这个有可能造成运行时加载的类变多,metaspace 大小不变的情况下也可能会触发 OOM。 > 目前社区已经收到许多反馈,关于 1.10.0 的默认 metaspace 大小可能不太合理,在 1.10.1 中会调大这个默认值。你这边也可以先把 > taskmanager.memory.metaspace.size 调到 256m 试一试。 > > Thank you~ > > Xintong Song > > > > On Tue, Apr 28, 2020 at 7:21 PM 出发 <[hidden email]&gt; wrote: > > &gt; 物理机内存:124G当进行如下设置时候 > &gt; taskmanager.memory.process.size: 65536m > &gt; > &gt; es5-connector sink数据 > &gt; 此时会出现频繁fullgc java.lang.OutOfMemoryError: Metaspace > &gt; > &gt; > &gt; > &gt; 当我设置 > &gt; taskmanager.memory.process.size: 1568m > &gt; es5-connector sink数据 > &gt; 不会出现溢出问题 > &gt; > &gt; > &gt; > 这个问题非常的困扰,实在不明白,我设置大内存之后,并没有影响到metaspace,而且当用系统默认内存时候竟然不出错,百思不得其解。望能够帮助理解下 > &gt; 上述操作重复试验很多次都是一样结果 |
>
> 这是我在gceasy分析出来的报告,看了log,确实是加大内存时候,出现的,第一次去看这个log,还请大佬帮忙看看,附件也上传了log了。 你这个只有 process.size=65536m 的时候的日志吧,我的意思是说 process.size=1568m 的时候 full GC 应该也存在,只不过单次时间会更短。 另外你这个也不是发生 metaspace oom 时候的日志吧,从你的这个日志上看,metaspace 才用了不到 80m,最大是 256m。 Thank you~ Xintong Song On Wed, Apr 29, 2020 at 2:57 PM 了不起的盖茨比 <[hidden email]> wrote: > 嗯呢谢谢我去看看 > > > > > ------------------ 原始邮件 ------------------ > 发件人: "Michael Ran"<[hidden email]>; > 发送时间: 2020年4月29日(星期三) 下午2:55 > 收件人: "user-zh"<[hidden email]>; > > 主题: Re:回复: flink 内存设置问题-metaspace 溢出 > > > > 可以看看介绍: > https://flink.apache.org/news/2020/04/21/memory-management-improvements-flink-1.10.html > 后续改进: https://issues.apache.org/jira/browse/FLINK-16406 > > > > 在 2020-04-29 14:09:21,"了不起的盖茨比" <[hidden email]> 写道: > > > https://gceasy.io/my-gc-report.jsp?p=YXJjaGl2ZWQvMjAyMC8wNC8yOC8tLWdjLmxvZy0tNC0xMC01Ng==&channel=WEB > > > 这是我在gceasy分析出来的报告,看了log,确实是加大内存时候,出现的,第一次去看这个log,还请大佬帮忙看看,附件也上传了log了。 > ------------------ 原始邮件 ------------------ > 发件人: "Xintong Song"<[hidden email]>; > 发送时间: 2020年4月29日(星期三) 中午12:45 > 收件人: "user-zh"<[hidden email]>; > 主题: Re: flink 内存设置问题-metaspace 溢出 > > > full GC 应该不是增大内存后才出现的,这一点可以确认一下 GC log。但是增大内存,可能会造成一次 full GC 花费的时间更长,从而导致 > TM 心跳超时。 > 同样的,metaspace OOM 也可能是由于 GC 速度变慢造成的。JVM 有单独的线程负责 GC,通常是在 > heap/direct/metaspace 这些区域用满之前达到某个阈值就开始 GC,如果 GC 速度慢于内存申请的速度,也有可能造成 OOM。 > 按照我们的经验,一个 TM 用 64G 也是比较大了,如果都是以 java heap 内存为主的话,那可能需要具体配一下 GC 策略。 > > Thank you~ > > Xintong Song > > > > On Wed, Apr 29, 2020 at 12:27 PM 了不起的盖茨比 <[hidden email]> wrote: > > > 除了 memory增加,其余配置还是使用默认的。就是不明白,为什么我内存增加了,反而会出现full > > gc情况,之后taskmanager失去心跳,然后继续提交job,出现metaspace溢出这个情况。 > > 在使用默认配置内存时候反而是没有出现fullgc。想明白其中缘由。 > > > > > > > > > > > > ------------------&nbsp;原始邮件&nbsp;------------------ > > 发件人:&nbsp;"Xintong Song"<[hidden email]&gt;; > > 发送时间:&nbsp;2020年4月29日(星期三) 中午11:00 > > 收件人:&nbsp;"user-zh"<[hidden email]&gt;; > > > > 主题:&nbsp;Re: flink 内存设置问题-metaspace 溢出 > > > > > > > > Metaspace OOM 通常是 JVM 加载的类过多导致的。TM 内存从 1568m 增大到 65536m,是否有增加 slot > > 的数量呢?这个有可能造成运行时加载的类变多,metaspace 大小不变的情况下也可能会触发 OOM。 > > 目前社区已经收到许多反馈,关于 1.10.0 的默认 metaspace 大小可能不太合理,在 1.10.1 > 中会调大这个默认值。你这边也可以先把 > > taskmanager.memory.metaspace.size 调到 256m 试一试。 > > > > Thank you~ > > > > Xintong Song > > > > > > > > On Tue, Apr 28, 2020 at 7:21 PM 出发 <[hidden email]&gt; wrote: > > > > &gt; 物理机内存:124G当进行如下设置时候 > > &gt; taskmanager.memory.process.size: 65536m > > &gt; > > &gt; es5-connector sink数据 > > &gt; 此时会出现频繁fullgc java.lang.OutOfMemoryError: Metaspace > > &gt; > > &gt; > > &gt; > > &gt; 当我设置 > > &gt; taskmanager.memory.process.size: 1568m > > &gt; es5-connector sink数据 > > &gt; 不会出现溢出问题 > > &gt; > > &gt; > > &gt; > > > 这个问题非常的困扰,实在不明白,我设置大内存之后,并没有影响到metaspace,而且当用系统默认内存时候竟然不出错,百思不得其解。望能够帮助理解下 > > &gt; 上述操作重复试验很多次都是一样结果 |
Free forum by Nabble | Edit this page |