Flink Source间歇性无数据如何处理(问题描述见详情)

classic Classic list List threaded Threaded
4 messages Options
Reply | Threaded
Open this post in threaded view
|

Flink Source间歇性无数据如何处理(问题描述见详情)

DD司机-2

請教一個Flink的難題。

需要統計每分鐘的事件條數,
Ex:
第1分钟,产生了10个事件输出10;
第2分钟,没产生事件;
第3分钟,产近生了8个事件输出8;
第4至30分钟没产生事件;
第31分钟,产近生了11个事件输出11;
....
也有连续好几个小时没有事件产生的情况;

雖然有些分鐘內沒有事件產生,但期也望輸出0,這種問題怎麼處理?

望回复,多謝,敬禮!



来自钉钉专属商务邮箱
Reply | Threaded
Open this post in threaded view
|

回复: Flink Source间歇性无数据如何处理(问题描述见详情)

Ever
要不用处理时间而不是事件时间,要不定时器设置source状态为idle



---原始邮件---
发件人: "DD司机"<[hidden email]&gt;
发送时间: 2019年10月23日(星期三) 上午9:31
收件人: "[hidden email]"<[hidden email]&gt;;
主题:   Flink Source间歇性无数据如何处理(问题描述见详情)



請教一個Flink的難題。

需要統計每分鐘的事件條數,
Ex:
第1分钟,产生了10个事件输出10;
第2分钟,没产生事件;
第3分钟,产近生了8个事件输出8;
第4至30分钟没产生事件;
第31分钟,产近生了11个事件输出11;
....
也有连续好几个小时没有事件产生的情况;

雖然有些分鐘內沒有事件產生,但期也望輸出0,這種問題怎麼處理?

望回复,多謝,敬禮!



来自钉钉专属商务邮箱
Reply | Threaded
Open this post in threaded view
|

回复: Flink Source间歇性无数据如何处理(问题描述见详情)

Ever
In reply to this post by DD司机-2
flink是否考虑一下这个功能,watermark强制至少多久发一次



---原始邮件---
发件人: "DD司机"<[hidden email]&gt;
发送时间: 2019年10月23日(星期三) 上午9:31
收件人: "[hidden email]"<[hidden email]&gt;;
主题:   Flink Source间歇性无数据如何处理(问题描述见详情)



請教一個Flink的難題。

需要統計每分鐘的事件條數,
Ex:
第1分钟,产生了10个事件输出10;
第2分钟,没产生事件;
第3分钟,产近生了8个事件输出8;
第4至30分钟没产生事件;
第31分钟,产近生了11个事件输出11;
....
也有连续好几个小时没有事件产生的情况;

雖然有些分鐘內沒有事件產生,但期也望輸出0,這種問題怎麼處理?

望回复,多謝,敬禮!



来自钉钉专属商务邮箱
Reply | Threaded
Open this post in threaded view
|

回复: Flink Source间歇性无数据如何处理(问题描述见详情)

DD司机-2
In reply to this post by Ever
这两种方式,能否细说说。或分别提供相关的资料参考,多谢





来自钉钉专属商务邮箱------------------------------------------------------------------
发件人:Ever<[hidden email]>
日 期:2019年10月23日 09:35:16
收件人:user-zh<[hidden email]>
主 题:回复: Flink Source间歇性无数据如何处理(问题描述见详情)

要不用处理时间而不是事件时间,要不定时器设置source状态为idle



---原始邮件---
发件人: "DD司机"<[hidden email]&gt;
发送时间: 2019年10月23日(星期三) 上午9:31
收件人: "[hidden email]"<[hidden email]&gt;;
主题:   Flink Source间歇性无数据如何处理(问题描述见详情)



請教一個Flink的難題。

需要統計每分鐘的事件條數,
Ex:
第1分钟,产生了10个事件输出10;
第2分钟,没产生事件;
第3分钟,产近生了8个事件输出8;
第4至30分钟没产生事件;
第31分钟,产近生了11个事件输出11;
....
也有连续好几个小时没有事件产生的情况;

雖然有些分鐘內沒有事件產生,但期也望輸出0,這種問題怎麼處理?

望回复,多謝,敬禮!



来自钉钉专属商务邮箱