回复:求助:Flink有没有类似Storm的ack机制呢?

classic Classic list List threaded Threaded
1 message Options
Reply | Threaded
Open this post in threaded view
|

回复:求助:Flink有没有类似Storm的ack机制呢?

Bruce
好的,感谢回复,了解了,只能我们这边再去通知
了。

发自我的iPhone


------------------ 原始邮件 ------------------
发件人: Congxian Qiu <[hidden email]&gt;
发送时间: 2020年8月5日 13:40
收件人: user-zh <[hidden email]&gt;
主题: 回复:求助:Flink有没有类似Storm的ack机制呢?



Hi&nbsp;张洋
&nbsp;&nbsp;&nbsp;&nbsp;如果我理解没错的话,现在&nbsp;Flink
无法严格保证消费了一条数据,等待上一条数据处理完成,然后再消费下一条数据的。如果想做到这个需求,需要用户做一些事情。
&nbsp;&nbsp;&nbsp;&nbsp;你说的第&nbsp;2&nbsp;点中是否处理完成,这个能否依赖第三方服务,在&nbsp;sink(或者最后一个&nbsp;operator)&nbsp;处理完成之后做通知呢?
&nbsp;&nbsp;&nbsp;&nbsp;checkpoint&nbsp;如果正常完成的话,那就是没有异常的,不过&nbsp;checkpoint&nbsp;没法完全保证一条数据一条数据的处理

Best,
Congxian


Bruce&nbsp;<[hidden email]&gt;&nbsp;于2020年8月5日周三&nbsp;上午9:33写道:

&gt;&nbsp;1.我们这里有个需求,Flink从rabbitmq接收消息,需要完整消费处理完前一条,才可以继续消费,因为前一条的结果会影响后面一条的结果准确性。
&gt;
&gt;
&gt;&nbsp;2.目前我了解到的rabbitmq有个qos可以限流为1条,但是消息流入Flink处理,我并不知道什么时候处理完了,也没有标识可以知道处理完了。
&gt;
&gt;
&gt;
&gt;&nbsp;3.通过checkpoint的通知,也不是很准确,我并不清楚checkpoint的备份周期内程序是否执行完成,只能知道checkpoint周期内没有异常
&gt;
&gt;
&gt;&nbsp;4.所以想求助下,Flink如何确认某一段task是否执行完毕?有没有这种机制呢?
&gt;
&gt;
&gt;
&gt;
&gt;
&gt;
&gt;&nbsp;best&nbsp;wishes
&gt;&nbsp;-----------------
&gt;&nbsp;张洋
&gt;
&gt;
&gt;&nbsp;&amp;nbsp;