flink消费kafka提交偏移量

classic Classic list List threaded Threaded
4 messages Options
Reply | Threaded
Open this post in threaded view
|

flink消费kafka提交偏移量

咿咿呀呀
各位大佬,我自己使用flink1.11时,消费kafka数据源时候,使用group offset,在外部的kafka tool发现offset没有及时提交,请问下这个在flink中怎么保证呢
Reply | Threaded
Open this post in threaded view
|

RE: flink消费kafka提交偏移量

venn
可以参考下这个:
https://ci.apache.org/projects/flink/flink-docs-release-1.11/dev/connectors/
kafka.html#kafka-consumers-offset-committing-behaviour-configuration

-----Original Message-----
From: user-zh-return-6007-wxchunjhyy=[hidden email]
<user-zh-return-6007-wxchunjhyy=[hidden email]> On Behalf Of 小学

Sent: 2020年7月30日 10:57
To: user-zh <[hidden email]>
Subject: flink消费kafka提交偏移量

各位大佬,我自己使用flink1.11时,消费kafka数据源时候,使用group offset,在外
部的kafka tool发现offset没有及时提交,请问下这个在flink中怎么保证呢
Reply | Threaded
Open this post in threaded view
|

Re:flink消费kafka提交偏移量

Michael Ran
In reply to this post by 咿咿呀呀
checikpoint 会保存到state 里面。有种模式在complate 后还会提交
在 2020-07-30 10:56:52,"小学生" <[hidden email]> 写道:
>各位大佬,我自己使用flink1.11时,消费kafka数据源时候,使用group offset,在外部的kafka tool发现offset没有及时提交,请问下这个在flink中怎么保证呢
Reply | Threaded
Open this post in threaded view
|

Re:flink消费kafka提交偏移量

咿咿呀呀
您好,有具体相关complate&nbsp;的相关介绍吗