关于upsert-kafka connector的问题

[op]

用 upsert-kafka connector 作为source，会有key的插入和更新出现乱序导致结果不准的问题吗？
谢谢

[Shengkai Fang]

Hi,

请问是有什么具体的问题吗？

Best,
Shengkai

op <[hidden email]> 于2021年4月22日周四 下午6:05写道：

> 用 upsert-kafka connector 作为source，会有key的插入和更新出现乱序导致结果不准的问题吗？
> 谢谢

[op]

想消费upsert-kafka的数据，以key为主键更新到数据库里面，会不会有消息乱序导致更新结果不对的情况？




------------------&nbsp;原始邮件&nbsp;------------------
发件人:                                                                                                                        "user-zh"                                                                                    <[hidden email]&gt;;
发送时间:&nbsp;2021年4月22日(星期四) 晚上6:25
收件人:&nbsp;"user-zh"<[hidden email]&gt;;

主题:&nbsp;Re: 关于upsert-kafka connector的问题



Hi,

请问是有什么具体的问题吗？

Best,
Shengkai

op <[hidden email]&gt; 于2021年4月22日周四 下午6:05写道：

&gt; 用 upsert-kafka connector 作为source，会有key的插入和更新出现乱序导致结果不准的问题吗？
&gt; 谢谢

[Shengkai Fang]

如果数据在upsert-kafka中已经做到了按序存储（相同key的数据放在同一个partition内），那么flink消费的时候可以做到保序。

Best,
Shengkai

[op]

谢谢，upsert-kafka作为sink可以保证相同key的数据放在同一个partition内，假如对相同key的更新数据，由于网络等原因后更新的值A的比先更新的值B提前发送到kafka,
这个时候用upsert-kafka去消费数据更新这个key，收到A进行更新后，在收到B的时候会覆盖掉A对吗




------------------&nbsp;原始邮件&nbsp;------------------
发件人:                                                                                                                        "user-zh"                                                                                    <[hidden email]&gt;;
发送时间:&nbsp;2021年4月23日(星期五) 中午12:20
收件人:&nbsp;"user-zh"<[hidden email]&gt;;

主题:&nbsp;Re: 关于upsert-kafka connector的问题



如果数据在upsert-kafka中已经做到了按序存储（相同key的数据放在同一个partition内），那么flink消费的时候可以做到保序。

Best,
Shengkai

[Shengkai Fang]

本质上，upsert-kafka是对kafka的封装，其内部仍然是一个消息队列，只是在消费的时候，我们形成一个视图。

消息从flink进入到kafka之中，根据kafka的协议保证了at-least-once。

Best,
Shengkai

op <[hidden email]> 于2021年4月23日周五 下午2:18写道：

>
> 谢谢，upsert-kafka作为sink可以保证相同key的数据放在同一个partition内，假如对相同key的更新数据，由于网络等原因后更新的值A的比先更新的值B提前发送到kafka,
> 这个时候用upsert-kafka去消费数据更新这个key，收到A进行更新后，在收到B的时候会覆盖掉A对吗
>
>
>
>
> ------------------&nbsp;原始邮件&nbsp;------------------
> 发件人:
>                                                   "user-zh"
>                                                                     <
> [hidden email]&gt;;
> 发送时间:&nbsp;2021年4月23日(星期五) 中午12:20
> 收件人:&nbsp;"user-zh"<[hidden email]&gt;;
>
> 主题:&nbsp;Re: 关于upsert-kafka connector的问题
>
>
>
> 如果数据在upsert-kafka中已经做到了按序存储（相同key的数据放在同一个partition内），那么flink消费的时候可以做到保序。
>
> Best,
> Shengkai

[Shengkai Fang]

这里有对upsert-kafka完整的一个分析的讲解：深度解析 Flink upsert-kafka[1]。如果还有问题，可以继续咨询。

[1]https://flink-learning.org.cn/developers/flink-training-course3/

Shengkai Fang <[hidden email]> 于2021年4月25日周日 上午10:16写道：

> 本质上，upsert-kafka是对kafka的封装，其内部仍然是一个消息队列，只是在消费的时候，我们形成一个视图。
>
> 消息从flink进入到kafka之中，根据kafka的协议保证了at-least-once。
>
> Best,
> Shengkai
>
> op <[hidden email]> 于2021年4月23日周五 下午2:18写道：
>
>>
>> 谢谢，upsert-kafka作为sink可以保证相同key的数据放在同一个partition内，假如对相同key的更新数据，由于网络等原因后更新的值A的比先更新的值B提前发送到kafka,
>> 这个时候用upsert-kafka去消费数据更新这个key，收到A进行更新后，在收到B的时候会覆盖掉A对吗
>>
>>
>>
>>
>> ------------------&nbsp;原始邮件&nbsp;------------------
>> 发件人:
>>                                                   "user-zh"
>>                                                                     <
>> [hidden email]&gt;;
>> 发送时间:&nbsp;2021年4月23日(星期五) 中午12:20
>> 收件人:&nbsp;"user-zh"<[hidden email]&gt;;
>>
>> 主题:&nbsp;Re: 关于upsert-kafka connector的问题
>>
>>
>>
>> 如果数据在upsert-kafka中已经做到了按序存储（相同key的数据放在同一个partition内），那么flink消费的时候可以做到保序。
>>
>> Best,
>> Shengkai
>
>