Checkpoint size的问题

classic Classic list List threaded Threaded
2 messages Options
Reply | Threaded
Open this post in threaded view
|

Checkpoint size的问题

gsralex
Hi, All
Checkpoint 一般Web UI显示的是400MB左右,但是查看HDFS实际的大小,不到1MB(_metadata) ,想问下这之间size的偏差为什么这么大?
Reply | Threaded
Open this post in threaded view
|

Re: Checkpoint size的问题

Yun Tang
Hi

web UI显示的是增量上传数据量,包括各个task上传的数据,而_metadata 只是一个元数据,是由JM上传的,所以不能将_metadata与checkpoint UI显示的数据量划等号。

祝好
唐云
________________________________
From: gsralex <[hidden email]>
Sent: Wednesday, October 28, 2020 19:17
To: [hidden email] <[hidden email]>
Subject: Checkpoint size的问题

Hi, All
Checkpoint 一般Web UI显示的是400MB左右,但是查看HDFS实际的大小,不到1MB(_metadata) ,想问下这之间size的偏差为什么这么大?