Hi
1. Checkpoint interval 和 window size 没有必然关系
2. 大量日志的话,这些日志是符合预期的吗,是的话,可以考虑更改日志级别,或者调整 checkpoint interval
checkpoint interval 越频繁,作业 failover 后需要追的数据越少,同时 checkpoint
的开销越大,具体的你需要根据你的情况来进行调整,另外对于 RocksDBStateBackend,你是否开启了 Incremental
checkpoint 呢?
Best,
Congxian
xwbberry <
[hidden email]> 于2019年9月24日周二 上午11:24写道:
> 各位大神好!
> 问题背景:
> 1.flink版本是社区版1.6,checkpoint采用的是RocksDBStateBackend
> 2.flink作业是5分钟窗口的统计,在设置checkpoint时interval间隔 如何设置,是否需要考虑窗口的时间?
> 3.目前我有一个flink作业的checkpoint大概情况如下,如果频繁checkpoint hdfs会产生大量操作日志,如果写入S3
> 也会有大量请求。我的解决办法是降低checkpoint频次(增大间隔时间)。
>
> End to End DurationState SizeBuffered During Alignment
> Minimum1s35.4 MB0 B
> Average4s647 MB4.51 MB
> Maximum44s3.26 GB217 MB
> 我想请教下如何合理的设置checkpoint ?
>
>
> 谢谢!