flink 1.13.0 中cumulate window 使用

classic Classic list List threaded Threaded
6 messages Options
Reply | Threaded
Open this post in threaded view
|

flink 1.13.0 中cumulate window 使用

邹云鹤
insert into `test_out` select a.uid, 'dt', max(a.age) from `test_in` as a group by uid, cumulate(PROCTIME(), interval '1' minute, interval '1' hour);


hello, 各位大佬, flink 1.13.0 中流式作业中该怎么使用cumulate window呢?我用上面的SQL 貌似是不行, 有没有使用过的大佬给点建议?




| |
邹云鹤
|
|
[hidden email]
|
签名由网易邮箱大师定制
Reply | Threaded
Open this post in threaded view
|

Re: flink 1.13.0 中cumulate window 使用

Leonard Xu
Hi,

Cumulate window 是基于 window TVF 语法的,和之前的 groupWindowFunction 不一样, 你可以参考 [1]
Window TVF 也支持了 tumble window, hop window, 并且性能更优,session window 预计会在1.14支持, session window 有需要可以使用老的语法。

Best,
Leonard
[1] https://ci.apache.org/projects/flink/flink-docs-release-1.13/zh/docs/dev/table/sql/queries/window-agg/#windowing-tvfs


> 在 2021年5月28日,11:43,邹云鹤 <[hidden email]> 写道:
>
> insert into `test_out` select a.uid, 'dt', max(a.age) from `test_in` as a group by uid, cumulate(PROCTIME(), interval '1' minute, interval '1' hour);
>
>
> hello, 各位大佬, flink 1.13.0 中流式作业中该怎么使用cumulate window呢?我用上面的SQL 貌似是不行, 有没有使用过的大佬给点建议?
>
>
>
>
> | |
> 邹云鹤
> |
> |
> [hidden email]
> |
> 签名由网易邮箱大师定制

Reply | Threaded
Open this post in threaded view
|

回复: flink 1.13.0 中cumulate window 使用

邹云鹤
好的,我再研究下。


| |
邹云鹤
|
|
[hidden email]
|
签名由网易邮箱大师定制
在2021年5月28日 11:51,Leonard Xu<[hidden email]> 写道:
Hi,

Cumulate window 是基于 window TVF 语法的,和之前的 groupWindowFunction 不一样, 你可以参考 [1]
Window TVF 也支持了 tumble window, hop window, 并且性能更优,session window 预计会在1.14支持, session window 有需要可以使用老的语法。

Best,
Leonard
[1] https://ci.apache.org/projects/flink/flink-docs-release-1.13/zh/docs/dev/table/sql/queries/window-agg/#windowing-tvfs


在 2021年5月28日,11:43,邹云鹤 <[hidden email]> 写道:

insert into `test_out` select a.uid, 'dt', max(a.age) from `test_in` as a group by uid, cumulate(PROCTIME(), interval '1' minute, interval '1' hour);


hello, 各位大佬, flink 1.13.0 中流式作业中该怎么使用cumulate window呢?我用上面的SQL 貌似是不行, 有没有使用过的大佬给点建议?




| |
邹云鹤
|
|
[hidden email]
|
签名由网易邮箱大师定制
Reply | Threaded
Open this post in threaded view
|

回复:flink 1.13.0 中cumulate window 使用

fanrui
In reply to this post by 邹云鹤
Hello
请参考官网案例,需要使用 window tvf语法。


https://ci.apache.org/projects/flink/flink-docs-release-1.13/docs/dev/table/sql/queries/window-tvf/#cumulate


Best
fanrui



---原始邮件---
发件人: "邹云鹤"<[hidden email]&gt;
发送时间: 2021年5月28日(周五) 中午11:44
收件人: "user-zh"<[hidden email]&gt;;
主题: flink 1.13.0 中cumulate window 使用


insert into `test_out` select a.uid, 'dt', max(a.age) from `test_in` as a group by uid, cumulate(PROCTIME(), interval '1' minute, interval '1' hour);


hello, 各位大佬, flink 1.13.0 中流式作业中该怎么使用cumulate window呢?我用上面的SQL 貌似是不行, 有没有使用过的大佬给点建议?




| |
邹云鹤
|
|
[hidden email]
|
签名由网易邮箱大师定制
Reply | Threaded
Open this post in threaded view
|

回复: flink 1.13.0 中cumulate window 使用

邹云鹤
In reply to this post by 邹云鹤
大佬, 你好


| |
邹云鹤
|
|
[hidden email]
|
签名由网易邮箱大师定制
在2021年5月28日 11:52,邹云鹤<[hidden email]> 写道:
好的,我再研究下。


| |
邹云鹤
|
|
[hidden email]
|
签名由网易邮箱大师定制
在2021年5月28日 11:51,Leonard Xu<[hidden email]> 写道:
Hi,

Cumulate window 是基于 window TVF 语法的,和之前的 groupWindowFunction 不一样, 你可以参考 [1]
Window TVF 也支持了 tumble window, hop window, 并且性能更优,session window 预计会在1.14支持, session window 有需要可以使用老的语法。

Best,
Leonard
[1] https://ci.apache.org/projects/flink/flink-docs-release-1.13/zh/docs/dev/table/sql/queries/window-agg/#windowing-tvfs


在 2021年5月28日,11:43,邹云鹤 <[hidden email]> 写道:

insert into `test_out` select a.uid, 'dt', max(a.age) from `test_in` as a group by uid, cumulate(PROCTIME(), interval '1' minute, interval '1' hour);


hello, 各位大佬, flink 1.13.0 中流式作业中该怎么使用cumulate window呢?我用上面的SQL 貌似是不行, 有没有使用过的大佬给点建议?




| |
邹云鹤
|
|
[hidden email]
|
签名由网易邮箱大师定制
Reply | Threaded
Open this post in threaded view
|

回复: flink 1.13.0 中cumulate window 使用

邹云鹤
In reply to this post by Leonard Xu
hello 大佬,
我现在 使用 cumulate 的SQL 如下:insert into `test_out` select a.uid, 'dt', max(a.age) from
TABLE(
CUMULATE(TABLE test_in, DESCRIPTOR(proctime), INTERVAL '1' MINUTES, INTERVAL '1' hours)) as a group by uid, window_start, window_end;


是可以运行了,但是发现每次窗口触发, 通过JDBC Sink 写入到数据库执行的都是insert 操作, 如果这个地方需要根据key 在数据库里面进行update 操作,使用CUMULATE WINDOW 可以实现吗?该怎么用这个SQL?
| |
邹云鹤
|
|
[hidden email]
|
签名由网易邮箱大师定制
在2021年5月28日 11:51,Leonard Xu<[hidden email]> 写道:
Hi,

Cumulate window 是基于 window TVF 语法的,和之前的 groupWindowFunction 不一样, 你可以参考 [1]
Window TVF 也支持了 tumble window, hop window, 并且性能更优,session window 预计会在1.14支持, session window 有需要可以使用老的语法。

Best,
Leonard
[1] https://ci.apache.org/projects/flink/flink-docs-release-1.13/zh/docs/dev/table/sql/queries/window-agg/#windowing-tvfs


在 2021年5月28日,11:43,邹云鹤 <[hidden email]> 写道:

insert into `test_out` select a.uid, 'dt', max(a.age) from `test_in` as a group by uid, cumulate(PROCTIME(), interval '1' minute, interval '1' hour);


hello, 各位大佬, flink 1.13.0 中流式作业中该怎么使用cumulate window呢?我用上面的SQL 貌似是不行, 有没有使用过的大佬给点建议?




| |
邹云鹤
|
|
[hidden email]
|
签名由网易邮箱大师定制