checkpoint、state

classic Classic list List threaded Threaded
4 messages Options
Reply | Threaded
Open this post in threaded view
|

checkpoint、state

lec ssmi
flink的每条数据既然都做了checkpoint,做成全局分布式一致性快照,那还需要本地state干啥呢?是否可以理解成,本地state是一致性快照的一部分而已?
  昨天看了 社区的直播回放,听PMC的介绍,好像不是一回事。
Reply | Threaded
Open this post in threaded view
|

Re: checkpoint、state

Congxian Qiu
Hi

Checkpoint 是所有本地 state 的一个快照,用于程序出现故障后,进行恢复使用。

Best,
Congxian


hahaha sc <[hidden email]> 于2019年11月29日周五 下午4:12写道:

>
> flink的每条数据既然都做了checkpoint,做成全局分布式一致性快照,那还需要本地state干啥呢?是否可以理解成,本地state是一致性快照的一部分而已?
>   昨天看了 社区的直播回放,听PMC的介绍,好像不是一回事。
>
Reply | Threaded
Open this post in threaded view
|

Re: checkpoint、state

Px New
In reply to this post by lec ssmi
Yes, CheckPoint 是一个封装后的Meta信息 而这个被封装的Meta信息是有所有Operator 的state 的组成了

hahaha sc <[hidden email]> 于2019年11月29日周五 下午4:12写道:

>
> flink的每条数据既然都做了checkpoint,做成全局分布式一致性快照,那还需要本地state干啥呢?是否可以理解成,本地state是一致性快照的一部分而已?
>   昨天看了 社区的直播回放,听PMC的介绍,好像不是一回事。
>
Reply | Threaded
Open this post in threaded view
|

Re: checkpoint、state

LakeShen
状态先存到本地 比直接存到 HDFS 速度更快,对于 RocksDBStateBackend,状态会先存到本地,然后异步存储到 HDFS。

Px New <[hidden email]> 于2020年1月10日周五 上午10:27写道:

> Yes, CheckPoint 是一个封装后的Meta信息 而这个被封装的Meta信息是有所有Operator 的state 的组成了
>
> hahaha sc <[hidden email]> 于2019年11月29日周五 下午4:12写道:
>
> >
> >
> flink的每条数据既然都做了checkpoint,做成全局分布式一致性快照,那还需要本地state干啥呢?是否可以理解成,本地state是一致性快照的一部分而已?
> >   昨天看了 社区的直播回放,听PMC的介绍,好像不是一回事。
> >
>