用FlinkKafkaProducer011写kafka的exactly once的困惑

[Cayden chen]

各位大神好，有个困惑。用FlinkKafkaProducer011写kafka的exactly once，比如我的checkpoint是十分钟，是否在十分钟之内，都不会往kafka下游发送数据。因为我看flink源码，是有在执行snapshotState的时候才kakfa的producer才flush了。

[xin Destiny]

应该是所有operator完成各自的pre-commit，它们会发起一个commit操作，然后才会flush

1193216154 <[hidden email]> 于2020年2月27日周四 下午5:30写道：

> 各位大神好，有个困惑。用FlinkKafkaProducer011写kafka的exactly
> once，比如我的checkpoint是十分钟，是否在十分钟之内，都不会往kafka下游发送数据。因为我看flink源码，是有在执行snapshotState的时候才kakfa的producer才flush了。

[Cayden chen]

那这十分钟之内是否sink都接受不到数据呢？



---原始邮件---
发件人: "xin Destiny"<[hidden email]&gt;
发送时间: 2020年2月27日(周四) 晚上6:49
收件人: "user-zh"<[hidden email]&gt;;
主题: Re: 用FlinkKafkaProducer011写kafka的exactly once的困惑


应该是所有operator完成各自的pre-commit，它们会发起一个commit操作，然后才会flush

1193216154 <[hidden email]&gt; 于2020年2月27日周四 下午5:30写道：

&gt; 各位大神好，有个困惑。用FlinkKafkaProducer011写kafka的exactly
&gt; once，比如我的checkpoint是十分钟，是否在十分钟之内，都不会往kafka下游发送数据。因为我看flink源码，是有在执行snapshotState的时候才kakfa的producer才flush了。

[Cayden chen]

消息是会发送给kafka的，但是这个消息属于未commit的消息，如果下游消费者，设置了读取未提交的话，就可以看见这个消息，否则是读取已提交，就对这个消息不可见




------------------&nbsp;原始邮件&nbsp;------------------
发件人:&nbsp;"xin Destiny"<[hidden email]&gt;;
发送时间:&nbsp;2020年2月27日(星期四) 晚上6:48
收件人:&nbsp;"user-zh"<[hidden email]&gt;;

主题:&nbsp;Re: 用FlinkKafkaProducer011写kafka的exactly once的困惑



应该是所有operator完成各自的pre-commit，它们会发起一个commit操作，然后才会flush

1193216154 <[hidden email]&gt; 于2020年2月27日周四 下午5:30写道：

&gt; 各位大神好，有个困惑。用FlinkKafkaProducer011写kafka的exactly
&gt; once，比如我的checkpoint是十分钟，是否在十分钟之内，都不会往kafka下游发送数据。因为我看flink源码，是有在执行snapshotState的时候才kakfa的producer才flush了。