Flink Window算子在WebUI中Bytes/Records Sent为0

classic Classic list List threaded Threaded
2 messages Options
Reply | Threaded
Open this post in threaded view
|

Flink Window算子在WebUI中Bytes/Records Sent为0

HaochengWang

你好,我有下图这样的一个数据流图,以csv文件作为数据源生成数据流,数据流的时间跨度约15分钟,时间窗口设定为1分钟。

使用单节点提交Flink Job之后,在Web UI界面发现从Window算子开始,后面的Bytes Sent全部为0B了,可是实际上window算子及其后面的算子都进行了相应的操作,并且生成了对应的数据结果。

请问这里是为什么出现了这个问题,如何让它能像我想象的显示发送的数据量?谢谢!

Reply | Threaded
Open this post in threaded view
|

回复:Flink Window算子在WebUI中Bytes/Records Sent为0

allanqinjy
你的图看不到,我猜到的是你window之后是一个算子链,最后是sink了,所以bytes sent是0,sink后应该就不属于flink的管辖范围了,所以sent是0。你可以设置disableOperatorChaining()一下,然后你在window完后,再map算子一下,就能看到window后面有没有sent了。


| |
allanqinjy
|
|
[hidden email]
|
签名由网易邮箱大师定制


在2021年03月30日 09:37,王 浩成<[hidden email]> 写道:

你好,我有下图这样的一个数据流图,以csv文件作为数据源生成数据流,数据流的时间跨度约15分钟,时间窗口设定为1分钟。

使用单节点提交Flink Job之后,在Web UI界面发现从Window算子开始,后面的Bytes Sent全部为0B了,可是实际上window算子及其后面的算子都进行了相应的操作,并且生成了对应的数据结果。

请问这里是为什么出现了这个问题,如何让它能像我想象的显示发送的数据量?谢谢!