BucketingSink 内存使用分析

[九思]

请教各位老师，flink on yarn，1个TaskManager，4个slot，TaskManager内存4G，JobManager内存1G。使用BucketingSink写入hdfs，3秒checkpoint一次。每秒大概数据100条，3秒也就是300左右。输入数据，大概427个字节，427字节*300=128100字节=125KB；输出数据，大概80字节，80字节*300=24000字节=23KB。但是Flink 的 TaskManager的 jvm 不知道为啥占用了这么多，高的时候有1G。
JVM (Heap/Non-Heap)
Type     Committed   Used     Maximum
Heap     2.68 GB     863 MB   2.68 GB
Non-Heap 84.3 MB     82.8 MB  -1 B
Total    2.76 GB     946 MB   2.68 GB



按理说，3s chepoint 一次，会写入一次hdfs。也就是说，只有3s的数据才会缓存在内存。还有什么数据也在内存嘛？

[Biao Liu]

把 heap dump 出来分析一下？

Thanks,
Biao /'bɪ.aʊ/



On Thu, Aug 1, 2019 at 6:07 PM 九思 <[hidden email]> wrote:

> 请教各位老师，flink on
> yarn，1个TaskManager，4个slot，TaskManager内存4G，JobManager内存1G。使用BucketingSink写入hdfs，3秒checkpoint一次。每秒大概数据100条，3秒也就是300左右。输入数据，大概427个字节，427字节*300=128100字节=125KB；输出数据，大概80字节，80字节*300=24000字节=23KB。但是Flink
> 的 TaskManager的 jvm 不知道为啥占用了这么多，高的时候有1G。
> JVM (Heap/Non-Heap)
> Type     Committed   Used     Maximum
> Heap     2.68 GB     863 MB   2.68 GB
> Non-Heap 84.3 MB     82.8 MB  -1 B
> Total    2.76 GB     946 MB   2.68 GB
>
>
>
> 按理说，3s chepoint 一次，会写入一次hdfs。也就是说，只有3s的数据才会缓存在内存。还有什么数据也在内存嘛？