flink 1.11 web ui请教

[abc15606]

版本:1.11
部署：standalone

数据从kafka写到kafka
1.提交的任务包含两个维表join和两条insert 语句，但是在中间的执行图，只有一个方框。其他有些join任务会有不同的框，用hash连线表示。这是什么原因？

2.底下的 records received等几个列都是0。怎么样才会统计？

[wxpcc]

environment.disableOperatorChaining()



--
Sent from: http://apache-flink.147419.n8.nabble.com/

[Yun Tang]

Hi


  1.  框图的数量是因为默认启用了operator chain导致的，至于连接线上的文字（例如hash）则是由网络连接方式决定了[2]
  2.  record received 为0 是因为这个指标表征了数据在Flink 的channel内收到的record数量，由于source节点并没有从Flink channel获取数据（往往是从外部系统获取），所以自然record received为0

[1] https://ci.apache.org/projects/flink/flink-docs-stable/dev/stream/operators/#task-chaining-and-resource-groups
[2] https://ci.apache.org/projects/flink/flink-docs-stable/dev/stream/operators/#physical-partitioning

祝好
唐云

________________________________
From: wxpcc <[hidden email]>
Sent: Wednesday, August 19, 2020 16:10
To: [hidden email] <[hidden email]>
Subject: Re: flink 1.11 web ui请教

environment.disableOperatorChaining()



--
Sent from: http://apache-flink.147419.n8.nabble.com/

[Benchao Li-2]

Hi，

因为目前的维表Join实现本身是没有用shuffle的，也就是维表算子跟上面的算子的连接方式为forward。
其他的join，都是直接按照join的key进行hash的，所以跟前面的算子的链接方式为hash。

<[hidden email]> 于2020年8月19日周三 下午3:33写道：

> 版本:1.11
> 部署：standalone
>
> 数据从kafka写到kafka
> 1.提交的任务包含两个维表join和两条insert
> 语句，但是在中间的执行图，只有一个方框。其他有些join任务会有不同的框，用hash连线表示。这是什么原因？
>
> 2.底下的 records received等几个列都是0。怎么样才会统计？
>
>
>

--

Best,
Benchao Li