不使用minibatch时状态丢失的异常

classic Classic list List threaded Threaded
2 messages Options
Reply | Threaded
Open this post in threaded view
|

不使用minibatch时状态丢失的异常

sunfulin
hi,
我执行如下的sql场景:select userId, first_value(xxx) from source group by userId, date_format(eventtime, 'yyyy-MM-dd')
在不使用minibatch时,出现状态丢失的情况,同一个userId同一天输出了多条记录。这种可能是bug么?使用的flink 版本为1.10.1
Reply | Threaded
Open this post in threaded view
|

Re: 不使用minibatch时状态丢失的异常

Benchao Li-2
你的任务配置了checkpoint了么?如果没有的话,并且任务有failover的话,那first_value的状态就丢了,
任务重启后重新发送最新的first_value也是有可能的。

sunfulin <[hidden email]> 于2020年8月15日周六 下午3:37写道:

> hi,
> 我执行如下的sql场景:select userId, first_value(xxx) from source group by userId,
> date_format(eventtime, 'yyyy-MM-dd')
> 在不使用minibatch时,出现状态丢失的情况,同一个userId同一天输出了多条记录。这种可能是bug么?使用的flink 版本为1.10.1



--

Best,
Benchao Li