自定义具有Exactly-Once语义的sink

classic Classic list List threaded Threaded
5 messages Options
Reply | Threaded
Open this post in threaded view
|

自定义具有Exactly-Once语义的sink

阿华田
如果自定义具有Exactly-Once语义的sink,继承TwoPhaseCommitSinkFunction,怎么确保真正的Exactly-Once,大佬们有已经上线使用的案例demo吗?
| |
王志华
|
|
[hidden email]
|
签名由网易邮箱大师定制

Reply | Threaded
Open this post in threaded view
|

回复:自定义具有Exactly-Once语义的sink

Cayden chen
可以参考Flink 源码 FlinkKafkaProducer这个类




------------------ 原始邮件 ------------------
发件人:&nbsp;"阿华田"<[hidden email]&gt;;
发送时间:&nbsp;2020年4月15日(星期三) 中午11:00
收件人:&nbsp;"[hidden email]"<[hidden email]&gt;;

主题:&nbsp;自定义具有Exactly-Once语义的sink



如果自定义具有Exactly-Once语义的sink,继承TwoPhaseCommitSinkFunction,怎么确保真正的Exactly-Once,大佬们有已经上线使用的案例demo吗?
| |
王志华
|
|
[hidden email]
|
签名由网易邮箱大师定制
Reply | Threaded
Open this post in threaded view
|

Re: 自定义具有Exactly-Once语义的sink

wang jinhai
In reply to this post by 阿华田
FlinkKafkaProducer、StreamingFileSink的实现都支持Exactly-Once,可以研究下


Best Regards

[hidden email]

> 2020年4月15日 上午11:00,阿华田 <[hidden email]> 写道:
>
> 如果自定义具有Exactly-Once语义的sink,继承TwoPhaseCommitSinkFunction,怎么确保真正的Exactly-Once,大佬们有已经上线使用的案例demo吗?
> | |
> 王志华
> |
> |
> [hidden email]
> |
> 签名由网易邮箱大师定制
>

Reply | Threaded
Open this post in threaded view
|

Re: 自定义具有Exactly-Once语义的sink

zhangjie@lakala.com
In reply to this post by 阿华田
昨天晚上看到一篇微信公众号文章,分享给你,希望对你有帮助。
“Flink 端到端 Exactly-once 机制剖析”
https://mp.weixin.qq.com/s/fhUNuCOVFQUjRB-fo4Rl2g

 
发件人: 阿华田
发送时间: 2020-04-15 11:00
收件人: [hidden email]
主题: 自定义具有Exactly-Once语义的sink
如果自定义具有Exactly-Once语义的sink,继承TwoPhaseCommitSinkFunction,怎么确保真正的Exactly-Once,大佬们有已经上线使用的案例demo吗?
| |
王志华
|
|
[hidden email]
|
签名由网易邮箱大师定制
 
Reply | Threaded
Open this post in threaded view
|

回复:自定义具有Exactly-Once语义的sink

阿华田
👌 谢谢




| |
王志华
|
|
邮箱:[hidden email]
|

签名由 网易邮箱大师 定制

在2020年04月15日 11:44,[hidden email] 写道:
昨天晚上看到一篇微信公众号文章,分享给你,希望对你有帮助。
“Flink 端到端 Exactly-once 机制剖析”
https://mp.weixin.qq.com/s/fhUNuCOVFQUjRB-fo4Rl2g


发件人: 阿华田
发送时间: 2020-04-15 11:00
收件人: [hidden email]
主题: 自定义具有Exactly-Once语义的sink
如果自定义具有Exactly-Once语义的sink,继承TwoPhaseCommitSinkFunction,怎么确保真正的Exactly-Once,大佬们有已经上线使用的案例demo吗?
| |
王志华
|
|
[hidden email]
|
签名由网易邮箱大师定制