RocksDBStateBackend 问题

classic Classic list List threaded Threaded
3 messages Options
Reply | Threaded
Open this post in threaded view
|

RocksDBStateBackend 问题

guaishushu1103@163.com
        想问下关于RocksDBStateBackend  是直接把状态存在rocksdb数据库,还是等内存满了再存到RocksDB数据库。如果直接存在RocksDB数据库,那岂不是很影响数据处理速度。



[hidden email]
Reply | Threaded
Open this post in threaded view
|

Re: RocksDBStateBackend 问题

zilong xiao
可以看下这个文档:
https://ci.apache.org/projects/flink/flink-docs-stable/ops/state/state_backends.html#the-rocksdbstatebackend

[hidden email] <[hidden email]> 于2020年9月7日周一 下午5:47写道:

>         想问下关于RocksDBStateBackend
> 是直接把状态存在rocksdb数据库,还是等内存满了再存到RocksDB数据库。如果直接存在RocksDB数据库,那岂不是很影响数据处理速度。
>
>
>
> [hidden email]
>
Reply | Threaded
Open this post in threaded view
|

Re: RocksDBStateBackend 问题

liujiangang
直接存在rocksdb数据库。rocksdb会首先将数据写到内存buffer中(不会太大),等buffer满了再刷到磁盘。相比filesystem的statebackend,rocksdb会因为序列化和反序列化导致处理速度慢一些,但是优势是可以利用磁盘的超大空间来存储更大的状态。

zilong xiao <[hidden email]> 于2020年9月7日周一 下午5:51写道:

> 可以看下这个文档:
>
> https://ci.apache.org/projects/flink/flink-docs-stable/ops/state/state_backends.html#the-rocksdbstatebackend
>
> [hidden email] <[hidden email]> 于2020年9月7日周一 下午5:47写道:
>
> >         想问下关于RocksDBStateBackend
> > 是直接把状态存在rocksdb数据库,还是等内存满了再存到RocksDB数据库。如果直接存在RocksDB数据库,那岂不是很影响数据处理速度。
> >
> >
> >
> > [hidden email]
> >
>