人为生成retract记录

[lec ssmi]

Hi:
    假设我现在将上游retract后的结果写入到kafka，然后下游程序消费kafka去做聚合操作。
    因为需要利用聚合算子能够自动处理retract的特性，所以需要将kafka的结果封装成带有不同header的row，即组装为INSERT
DELETE UPDATE类型的数据。
    有什么办法可以解决吗？
    如果将上下游程序合在一起 ，是没问题的，现在的难点就是拆分。
   谢谢。

[Benchao Li]

Hi，

暂时还不能做到，有一个FLIP[1] 正在做这件事，应该在1.11之后会逐步具备这个能力。

[1]
https://cwiki.apache.org/confluence/pages/viewpage.action?pageId=147427289

lec ssmi <[hidden email]> 于2020年4月26日周日 上午10:08写道：

> Hi:
>     假设我现在将上游retract后的结果写入到kafka，然后下游程序消费kafka去做聚合操作。
>     因为需要利用聚合算子能够自动处理retract的特性，所以需要将kafka的结果封装成带有不同header的row，即组装为INSERT
> DELETE UPDATE类型的数据。
>     有什么办法可以解决吗？
>     如果将上下游程序合在一起 ，是没问题的，现在的难点就是拆分。
>    谢谢。
>


--

Benchao Li
School of Electronics Engineering and Computer Science, Peking University
Tel:[phone]
Email: [hidden email]; [hidden email]

[Jark]

是的。FLIP-105之后，我们也会考虑引入一些简化的 format 去描述 cdc 数据，比如 csv 的第一列用来描述 change
operation。

Best,
Jark

On Sun, 26 Apr 2020 at 10:14, Benchao Li <[hidden email]> wrote:

> Hi，
>
> 暂时还不能做到，有一个FLIP[1] 正在做这件事，应该在1.11之后会逐步具备这个能力。
>
> [1]
> https://cwiki.apache.org/confluence/pages/viewpage.action?pageId=147427289
>
> lec ssmi <[hidden email]> 于2020年4月26日周日 上午10:08写道：
>
> > Hi:
> >     假设我现在将上游retract后的结果写入到kafka，然后下游程序消费kafka去做聚合操作。
> >     因为需要利用聚合算子能够自动处理retract的特性，所以需要将kafka的结果封装成带有不同header的row，即组装为INSERT
> > DELETE UPDATE类型的数据。
> >     有什么办法可以解决吗？
> >     如果将上下游程序合在一起 ，是没问题的，现在的难点就是拆分。
> >    谢谢。
> >
>
>
> --
>
> Benchao Li
> School of Electronics Engineering and Computer Science, Peking University
> Tel:[phone]
> Email: [hidden email]; [hidden email]
>

[刘首维]

Hi,
    我们这边做了人为生成retract记录的尝试，也是用在了binlog上，结果上还是可以的但是改造成本还是比较高的，需要自己添加对应的关系算子和优化规则。此外，这样做（有可能）会干扰执行计划的优化，期待FLIP105和95的落地！


________________________________
发件人: lec ssmi <[hidden email]>
发送时间: 2020年4月26日 10:07:48
收件人: flink-user-cn
主题: 人为生成retract记录

Hi:
    假设我现在将上游retract后的结果写入到kafka，然后下游程序消费kafka去做聚合操作。
    因为需要利用聚合算子能够自动处理retract的特性，所以需要将kafka的结果封装成带有不同header的row，即组装为INSERT
DELETE UPDATE类型的数据。
    有什么办法可以解决吗？
    如果将上下游程序合在一起 ，是没问题的，现在的难点就是拆分。
   谢谢。