Flink实时统计 结果波动时大时小

[flink2021]

我的数据源是kafka
统计订单数据结果写入到mysql，发现在数据有积压的过程中，统计结果会忽大忽小？有人遇到过相关的问题没有呢？需要调整那些设置呢？（数据链路又点复杂，state
使用rockdb报错，没有设置过期时间）



--
Sent from: http://apache-flink.147419.n8.nabble.com/

[LiangbinZhang]

Hi,flink2021
   首先看看业务场景，是否存在订单数据减少的情况，如果没有，就是逻辑或者代码有问题

Best，
Robin


flink2021 wrote
> 我的数据源是kafka
> 统计订单数据结果写入到mysql，发现在数据有积压的过程中，统计结果会忽大忽小？有人遇到过相关的问题没有呢？需要调整那些设置呢？（数据链路又点复杂，state
> 使用rockdb报错，没有设置过期时间）
>
>
>
> --
> Sent from: http://apache-flink.147419.n8.nabble.com/





--
Sent from: http://apache-flink.147419.n8.nabble.com/

[LakeShen]

Hi flink2021，
      你看下的聚合逻辑是不是在一个可撤回流上面进行聚合的呢，如果是的话，可以添加一下 mini batch 聚合优化参数，具体可以参考[1].
      [1]
https://ci.apache.org/projects/flink/flink-docs-stable/dev/table/tuning/streaming_aggregation_optimization.html

Best,
LakeShen


Robin Zhang <[hidden email]> 于2021年2月18日周四 下午2:44写道：

> Hi,flink2021
>    首先看看业务场景，是否存在订单数据减少的情况，如果没有，就是逻辑或者代码有问题
>
> Best，
> Robin
>
>
> flink2021 wrote
> > 我的数据源是kafka
> >
> 统计订单数据结果写入到mysql，发现在数据有积压的过程中，统计结果会忽大忽小？有人遇到过相关的问题没有呢？需要调整那些设置呢？（数据链路又点复杂，state
> > 使用rockdb报错，没有设置过期时间）
> >
> >
> >
> > --
> > Sent from: http://apache-flink.147419.n8.nabble.com/
>
>
>
>
>
> --
> Sent from: http://apache-flink.147419.n8.nabble.com/