flink barrier对齐 理解

[kcz]

请教一下，如果只有一个source，就不需要对齐了吧？只有source多个数据源时候才需要对齐？

[Benchao Li]

Hi，

我对这块不是非常了解，但是我理解的barrier对齐，指的是同一个Task的多个subtask之间对齐吧。
比如你只有一个source，然后经过keyby之后做了其他的操作，那也是存在barrier对齐的。

了不起的盖茨比 <[hidden email]> 于2020年5月17日周日 上午11:29写道：

> 请教一下，如果只有一个source，就不需要对齐了吧？只有source多个数据源时候才需要对齐？



--

Benchao Li
School of Electronics Engineering and Computer Science, Peking University
Tel:[phone]
Email: [hidden email]; [hidden email]

[kcz]

可以理解成，有多个subtask时候，需要等待不同subtask消费数据完毕，之后做checkpoint





------------------ 原始邮件 ------------------
发件人: Benchao Li <[hidden email]&gt;
发送时间: 2020年5月17日 11:34
收件人: user-zh <[hidden email]&gt;
主题: 回复：flink barrier对齐 理解



Hi，

我对这块不是非常了解，但是我理解的barrier对齐，指的是同一个Task的多个subtask之间对齐吧。
比如你只有一个source，然后经过keyby之后做了其他的操作，那也是存在barrier对齐的。

了不起的盖茨比 <[hidden email]&gt; 于2020年5月17日周日 上午11:29写道：

&gt; 请教一下，如果只有一个source，就不需要对齐了吧？只有source多个数据源时候才需要对齐？



--

Benchao Li
School of Electronics Engineering and Computer Science, Peking University
Tel:[phone]
Email: [hidden email]; [hidden email]

[Benchao Li]

我感觉应该是这样的：

比如有两个算子
A ---hash---> B
A和B分别有2和3个并发。那就是说对于B的某个subtask来讲，需要对齐上游A的2个subtask发过来的barrier，才能做checkpoint。


了不起的盖茨比 <[hidden email]> 于2020年5月17日周日 下午1:16写道：

> 可以理解成，有多个subtask时候，需要等待不同subtask消费数据完毕，之后做checkpoint
>
>
>
>
>
> ------------------ 原始邮件 ------------------
> 发件人: Benchao Li <[hidden email]&gt;
> 发送时间: 2020年5月17日 11:34
> 收件人: user-zh <[hidden email]&gt;
> 主题: 回复：flink barrier对齐 理解
>
>
>
> Hi，
>
> 我对这块不是非常了解，但是我理解的barrier对齐，指的是同一个Task的多个subtask之间对齐吧。
> 比如你只有一个source，然后经过keyby之后做了其他的操作，那也是存在barrier对齐的。
>
> 了不起的盖茨比 <[hidden email]&gt; 于2020年5月17日周日 上午11:29写道：
>
> &gt; 请教一下，如果只有一个source，就不需要对齐了吧？只有source多个数据源时候才需要对齐？
>
>
>
> --
>
> Benchao Li
> School of Electronics Engineering and Computer Science, Peking University
> Tel:[phone]
> Email: [hidden email]; [hidden email]

--

Benchao Li
School of Electronics Engineering and Computer Science, Peking University
Tel:[phone]
Email: [hidden email]; [hidden email]