Flink Kafka作业异常重启,从Checkpoint恢复后,重复推送部分数据如何处理?

classic Classic list List threaded Threaded
3 messages Options
Reply | Threaded
Open this post in threaded view
|

Flink Kafka作业异常重启,从Checkpoint恢复后,重复推送部分数据如何处理?

Kevin Dai
This post was updated on .
Flink ETL作业生成实时DWD宽表数据,写入Kafka中。
当ETL作业的TM出现异常,自动重启恢复后,作业虽然能从上一次Checkpoint状态恢复,但是会出现重复推送部分数据,导致下游DWS相关作业都要进行去重处理,增加下游作业成本。
想了下解决方案,扩展Kafka Sink,初始化的时候,先读取当前State中记录的位置后面的所有数据,然后写入的时候进行去重处理,恢复到正常位置后,清理掉这部分数据。
想问下大佬们,这种处理方式是否合理,或者有没其他更好的解决方案?



--
Sent from: http://apache-flink.147419.n8.nabble.com/
Reply | Threaded
Open this post in threaded view
|

Re: Flink Kafka作业异常重启,从Checkpoint恢复后重复推送数据部分数据如何处理?

Congxian Qiu
Hi
   checkpoint 只能保证 state 的 exactly once,但是单条数据可能重复处理多次,如果是 sink
输出多次的话,或许你可以看一下 TwoPhaseCommitSinkFunction 相关的,这篇文章有一个相关的描述[1]

[1]
https://www.ververica.com/blog/end-to-end-exactly-once-processing-apache-flink-apache-kafka
Best,
Congxian


Kevin Dai <[hidden email]> 于2020年8月28日周五 上午9:44写道:

> Flink ETL作业生成实时DWD宽表数据,写入Kafka中。
>
> 当ETL作业的TM出现异常,自动重启恢复后,作业虽然能从上一次Checkpoint状态恢复,但是会出现重复推送部分数据,导致下游DWS相关作业都要进行去重处理,增加下游作业成本。
> 想了下解决方案,扩展Kafka
> Sink,初始化的时候,先读取当前State中记录的位置后面的所有数据,然后写入的时候进行去重处理,恢复到正常位置后,清理掉这部分数据。
> 想问下大佬们,这种处理方式是否合理,或者有没其他更好的解决方案?
>
>
>
> --
> Sent from: http://apache-flink.147419.n8.nabble.com/
Reply | Threaded
Open this post in threaded view
|

Re: Flink Kafka作业异常重启,从Checkpoint恢复后重复推送数据部分数据如何处理?

Kevin Dai
谢谢您的回复,刚也看到官方文档DataStream的Kafka连接器中也有相关说明。



--
Sent from: http://apache-flink.147419.n8.nabble.com/