流groupby

classic Classic list List threaded Threaded
5 messages Options
Reply | Threaded
Open this post in threaded view
|

流groupby

allanqinjy
hi,
   请教个问题,流sql如果要group by 只能配合窗口吗?如果我不开窗口,根据一个字段比如日期group by 不可以吗?
 AppendStreamTableSink requires that Table has only insert changes.
Reply | Threaded
Open this post in threaded view
|

回复:流groupby

Yichao Yang
Hi


可以不开窗口只不过结果是retract流而不是append流


Best,
Yichao Yang





发自我的iPhone


------------------ 原始邮件 ------------------
发件人: allanqinjy <[hidden email]&gt;
发送时间: 2020年6月9日 12:11
收件人: user-zh <[hidden email]&gt;
主题: 回复:流groupby
Reply | Threaded
Open this post in threaded view
|

Re:回复:流groupby

allanqinjy
hi,
   也就是指定 update-model retract就可以了是吧?好的多谢,我试试!

















在 2020-06-09 12:13:10,"1048262223" <[hidden email]> 写道:

>Hi
>
>
>可以不开窗口只不过结果是retract流而不是append流
>
>
>Best,
>Yichao Yang
>
>
>
>
>
>发自我的iPhone
>
>
>------------------ 原始邮件 ------------------
>发件人: allanqinjy <[hidden email]&gt;
>发送时间: 2020年6月9日 12:11
>收件人: user-zh <[hidden email]&gt;
>主题: 回复:流groupby
Reply | Threaded
Open this post in threaded view
|

Re: 流groupby

359502980@qq.com
可以不设置窗口,直接用你的字段,我们就有很多没有窗口的业务场景,但是这样会比较耗内存。如果时间太长,也可能导致oom

> 在 2020年6月9日,下午12:24,allanqinjy <[hidden email]> 写道:
>
> hi,
>   也就是指定 update-model retract就可以了是吧?好的多谢,我试试!
>
>
>
>
>
>
>
>
>
>
>
>
>
>
>
>
>
>> 在 2020-06-09 12:13:10,"1048262223" <[hidden email]> 写道:
>> Hi
>>
>>
>> 可以不开窗口只不过结果是retract流而不是append流
>>
>>
>> Best,
>> Yichao Yang
>>
>>
>>
>>
>>
>> 发自我的iPhone
>>
>>
>> ------------------ 原始邮件 ------------------
>> 发件人: allanqinjy <[hidden email]&gt;
>> 发送时间: 2020年6月9日 12:11
>> 收件人: user-zh <[hidden email]&gt;
>> 主题: 回复:流groupby

Reply | Threaded
Open this post in threaded view
|

Re: 流groupby

Benchao Li-2
In reply to this post by allanqinjy
不用窗口的group by,一般推荐设置上state retention时间[1]。默认是不会做状态清理的,所以时间长了状态就会特别多。

[1]
https://ci.apache.org/projects/flink/flink-docs-master/dev/table/streaming/query_configuration.html#idle-state-retention-time

李奇 <[hidden email]> 于2020年6月10日周三 上午8:40写道:

> 可以不设置窗口,直接用你的字段,我们就有很多没有窗口的业务场景,但是这样会比较耗内存。如果时间太长,也可能导致oom
>
> > 在 2020年6月9日,下午12:24,allanqinjy <[hidden email]> 写道:
> >
> > hi,
> >   也就是指定 update-model retract就可以了是吧?好的多谢,我试试!
> >
> >
> >
> >
> >
> >
> >
> >
> >
> >
> >
> >
> >
> >
> >
> >
> >
> >> 在 2020-06-09 12:13:10,"1048262223" <[hidden email]> 写道:
> >> Hi
> >>
> >>
> >> 可以不开窗口只不过结果是retract流而不是append流
> >>
> >>
> >> Best,
> >> Yichao Yang
> >>
> >>
> >>
> >>
> >>
> >> 发自我的iPhone
> >>
> >>
> >> ------------------ 原始邮件 ------------------
> >> 发件人: allanqinjy <[hidden email]&gt;
> >> 发送时间: 2020年6月9日 12:11
> >> 收件人: user-zh <[hidden email]&gt;
> >> 主题: 回复:流groupby
>
>