关于flinksql 滑动窗口数据进不来的问题

[李杨烨]

刚刚邮件图片挂了，上传了新的图片地址：http://chuantu.xyz/t6/741/1600061331x-1224481926.jpg使用rowTime做的滑动

[Benchao Li-2]

可以再详细一点描述下问题么，滑动窗口数据进不来，指的是窗口没有触发计算还是数据就没有到窗口呢？

如果只是窗口没有触发计算，一般用了row time的话，可以排查下watermark是否有正常生成。

李杨烨 <[hidden email]> 于2020年9月14日周一 下午1:32写道：

> 刚刚邮件图片挂了，上传了新的图片地址：http://chuantu.xyz/t6/741/1600061331x-1224481926.jpg
> 使用rowTime做的滑动



--

Best,
Benchao Li

[李杨烨]

在进入stream之前是有数据的，使用hop方法计算之后就没有数据流出了。


水印的设置代码如下：
simpleResults.assignTimestampsAndWatermarks(WatermarkStrategy
        .<OrderDetail&gt;forBoundedOutOfOrderness(Duration.ofHours(1))
        .withTimestampAssigner((event, timestamp)-&gt;event.getGmtPaidLong())
        .withIdleness(Duration.ofSeconds(5)));
-------
另外 刚刚我用了processTime做窗口滑动是可以实现的，但是processTime对业务不友好，因此如果根据rowTime可以做是最好的。


------------------&nbsp;原始邮件&nbsp;------------------
发件人:                                                                                                                        "user-zh"                                                                                    <[hidden email]&gt;;
发送时间:&nbsp;2020年9月14日(星期一) 下午5:19
收件人:&nbsp;"user-zh"<[hidden email]&gt;;

主题:&nbsp;Re: 关于flinksql 滑动窗口数据进不来的问题



可以再详细一点描述下问题么，滑动窗口数据进不来，指的是窗口没有触发计算还是数据就没有到窗口呢？

如果只是窗口没有触发计算，一般用了row time的话，可以排查下watermark是否有正常生成。

李杨烨 <[hidden email]&gt; 于2020年9月14日周一 下午1:32写道：

&gt; 刚刚邮件图片挂了，上传了新的图片地址：http://chuantu.xyz/t6/741/1600061331x-1224481926.jpg
&gt; 使用rowTime做的滑动



--

Best,
Benchao Li

[Benchao Li-2]

那看起来就是watermark的问题了。你可以在Flink web UI上查看一下对应的算子的watermark是否符合预期。

有一个小tip，watermark本身是由数据来驱动更新的。比如你只有一条数据，那么你的watermark就只能是根据
这条数据计算出来的，不会自动再更新。

李杨烨 <[hidden email]> 于2020年9月14日周一 下午5:27写道：

> 在进入stream之前是有数据的，使用hop方法计算之后就没有数据流出了。
>
>
> 水印的设置代码如下：
> simpleResults.assignTimestampsAndWatermarks(WatermarkStrategy
>         .<OrderDetail&gt;forBoundedOutOfOrderness(Duration.ofHours(1))
>         .withTimestampAssigner((event,
> timestamp)-&gt;event.getGmtPaidLong())
>         .withIdleness(Duration.ofSeconds(5)));
> -------
> 另外 刚刚我用了processTime做窗口滑动是可以实现的，但是processTime对业务不友好，因此如果根据rowTime可以做是最好的。
>
>
> ------------------&nbsp;原始邮件&nbsp;------------------
> 发件人:
>                                                   "user-zh"
>                                                                     <
> [hidden email]&gt;;
> 发送时间:&nbsp;2020年9月14日(星期一) 下午5:19
> 收件人:&nbsp;"user-zh"<[hidden email]&gt;;
>
> 主题:&nbsp;Re: 关于flinksql 滑动窗口数据进不来的问题
>
>
>
> 可以再详细一点描述下问题么，滑动窗口数据进不来，指的是窗口没有触发计算还是数据就没有到窗口呢？
>
> 如果只是窗口没有触发计算，一般用了row time的话，可以排查下watermark是否有正常生成。
>
> 李杨烨 <[hidden email]&gt; 于2020年9月14日周一 下午1:32写道：
>
> &gt; 刚刚邮件图片挂了，上传了新的图片地址：
> http://chuantu.xyz/t6/741/1600061331x-1224481926.jpg
> &gt; 使用rowTime做的滑动
>
>
>
> --
>
> Best,
> Benchao Li

--

Best,
Benchao Li