flink sql 侧输出

[Dream-底限]

hi、
大佬们、我们这面主要基于blink sql完成转换计算，但是可能会有延迟数据，现在想把延迟数据通过侧输出保存下来，在table/sql
api中要怎么操作比较合理一点？或者有没有其他处理延迟数据的方式？

[Jark]

Hi,

Flink SQL/Table 目前还不支持 side output。不过有一个实验性的功能可以处理延迟数据，
你可以给你的作业配上:

table.exec.emit.late-fire.enabled = true
table.exec.emit.late-fire.delay = 1min

同时 TableConfig#setIdleStateRetentionTime 需要配上，表示窗口状态允许保留多久，即 window
allowLateness 。

具体可以看下 org.apache.flink.table.planner.plan.utils.WindowEmitStrategy 这个类。

Best,
Jark

On Mon, 13 Jul 2020 at 11:31, Dream-底限 <[hidden email]> wrote:

> hi、
> 大佬们、我们这面主要基于blink sql完成转换计算，但是可能会有延迟数据，现在想把延迟数据通过侧输出保存下来，在table/sql
> api中要怎么操作比较合理一点？或者有没有其他处理延迟数据的方式？
>

[Dream-底限]

hi、
好的，感谢

On Mon, Jul 13, 2020 at 12:07 PM Jark Wu <[hidden email]> wrote:

> Hi,
>
> Flink SQL/Table 目前还不支持 side output。不过有一个实验性的功能可以处理延迟数据，
> 你可以给你的作业配上:
>
> table.exec.emit.late-fire.enabled = true
> table.exec.emit.late-fire.delay = 1min
>
> 同时 TableConfig#setIdleStateRetentionTime 需要配上，表示窗口状态允许保留多久，即 window
> allowLateness 。
>
> 具体可以看下 org.apache.flink.table.planner.plan.utils.WindowEmitStrategy 这个类。
>
> Best,
> Jark
>
> On Mon, 13 Jul 2020 at 11:31, Dream-底限 <[hidden email]> wrote:
>
> > hi、
> > 大佬们、我们这面主要基于blink sql完成转换计算，但是可能会有延迟数据，现在想把延迟数据通过侧输出保存下来，在table/sql
> > api中要怎么操作比较合理一点？或者有没有其他处理延迟数据的方式？
> >
>