Apache Flink 中文用户邮件列表
Search
everywhere
only in this topic
Advanced Search
RocksDBStateBackend 问题
Classic
List
Threaded
♦
♦
Locked
3 messages
guaishushu1103@163.com
Reply
|
Threaded
Open this post in threaded view
♦
♦
|
RocksDBStateBackend 问题
想问下关于RocksDBStateBackend 是直接把状态存在rocksdb数据库,还是等内存满了再存到RocksDB数据库。如果直接存在RocksDB数据库,那岂不是很影响数据处理速度。
[hidden email]
zilong xiao
Reply
|
Threaded
Open this post in threaded view
♦
♦
|
Re: RocksDBStateBackend 问题
可以看下这个文档:
https://ci.apache.org/projects/flink/flink-docs-stable/ops/state/state_backends.html#the-rocksdbstatebackend
[hidden email]
<
[hidden email]
> 于2020年9月7日周一 下午5:47写道:
> 想问下关于RocksDBStateBackend
> 是直接把状态存在rocksdb数据库,还是等内存满了再存到RocksDB数据库。如果直接存在RocksDB数据库,那岂不是很影响数据处理速度。
>
>
>
>
[hidden email]
>
liujiangang
Reply
|
Threaded
Open this post in threaded view
♦
♦
|
Re: RocksDBStateBackend 问题
直接存在rocksdb数据库。rocksdb会首先将数据写到内存buffer中(不会太大),等buffer满了再刷到磁盘。相比filesystem的statebackend,rocksdb会因为序列化和反序列化导致处理速度慢一些,但是优势是可以利用磁盘的超大空间来存储更大的状态。
zilong xiao <
[hidden email]
> 于2020年9月7日周一 下午5:51写道:
> 可以看下这个文档:
>
>
https://ci.apache.org/projects/flink/flink-docs-stable/ops/state/state_backends.html#the-rocksdbstatebackend
>
>
[hidden email]
<
[hidden email]
> 于2020年9月7日周一 下午5:47写道:
>
> > 想问下关于RocksDBStateBackend
> > 是直接把状态存在rocksdb数据库,还是等内存满了再存到RocksDB数据库。如果直接存在RocksDB数据库,那岂不是很影响数据处理速度。
> >
> >
> >
> >
[hidden email]
> >
>
Free forum by Nabble
Edit this page