Flink运行时可以转移数据吗？

[Sun_yijia]

在做反压相关的代码，想请教各位大佬。


有一个分支节点，分支后面有两个节点A和B。假设A节点出现了反压，B节点负载空闲。
我想让B节点帮A节点做一些计算，这样B节点就能够缓解一部分A节点的压力。


有什么方法能让Flink在运行过程中，把接下来要发给A节点的数据发送给B节点吗？

[Congxian Qiu]

Hi
   据我所知，在作业启动之后，是无法改变数据的分法规则的，也就是说没办法做到这个要求。
Best,
Congxian


Sun_yijia <[hidden email]> 于2020年8月26日周三 下午2:17写道：

> 在做反压相关的代码，想请教各位大佬。
>
>
> 有一个分支节点，分支后面有两个节点A和B。假设A节点出现了反压，B节点负载空闲。
> 我想让B节点帮A节点做一些计算，这样B节点就能够缓解一部分A节点的压力。
>
>
> 有什么方法能让Flink在运行过程中，把接下来要发给A节点的数据发送给B节点吗？

[venn]

如果自己实现 KeySelector ，可以感知 下游节点的反压，动态调整 KeySelector 策
略 就可以

-----Original Message-----
From: user-zh-return-6979-wxchunjhyy=[hidden email]
<user-zh-return-6979-wxchunjhyy=[hidden email]> On Behalf Of
Sun_yijia
Sent: Wednesday, August 26, 2020 2:17 PM
To: user-zh <[hidden email]>
Subject: Flink运行时可以转移数据吗？

在做反压相关的代码，想请教各位大佬。


有一个分支节点，分支后面有两个节点A和B。假设A节点出现了反压，B节点负载空闲。
我想让B节点帮A节点做一些计算，这样B节点就能够缓解一部分A节点的压力。


有什么方法能让Flink在运行过程中，把接下来要发给A节点的数据发送给B节点吗？

[Sun_yijia]

感谢感谢，我去查一下具体的类实现，看一下有没有可能实现。




------------------&nbsp;原始邮件&nbsp;------------------
发件人:                                                                                                                        "user-zh"                                                                                    <[hidden email]&gt;;
发送时间:&nbsp;2020年8月26日(星期三) 晚上6:56
收件人:&nbsp;"user-zh"<[hidden email]&gt;;

主题:&nbsp;RE: Flink运行时可以转移数据吗？



如果自己实现 KeySelector ，可以感知 下游节点的反压，动态调整 KeySelector 策
略 就可以

-----Original Message-----
From: user-zh-return-6979-wxchunjhyy=[hidden email]
<user-zh-return-6979-wxchunjhyy=[hidden email]&gt; On Behalf Of
Sun_yijia
Sent: Wednesday, August 26, 2020 2:17 PM
To: user-zh <[hidden email]&gt;
Subject: Flink运行时可以转移数据吗？

在做反压相关的代码，想请教各位大佬。


有一个分支节点，分支后面有两个节点A和B。假设A节点出现了反压，B节点负载空闲。
我想让B节点帮A节点做一些计算，这样B节点就能够缓解一部分A节点的压力。


有什么方法能让Flink在运行过程中，把接下来要发给A节点的数据发送给B节点吗？

[Sun_yijia]

非常感谢，目前在做反压，之前看到有论文实现了，不过没有讲具体细节，就来问一下社区的各位大佬。祝好~


------------------&nbsp;原始邮件&nbsp;------------------
发件人:                                                                                                                        "user-zh"                                                                                    <[hidden email]&gt;;
发送时间:&nbsp;2020年8月26日(星期三) 下午5:53
收件人:&nbsp;"user-zh"<[hidden email]&gt;;

主题:&nbsp;Re: Flink运行时可以转移数据吗？



Hi
&nbsp;&nbsp; 据我所知，在作业启动之后，是无法改变数据的分法规则的，也就是说没办法做到这个要求。
Best,
Congxian


Sun_yijia <[hidden email]&gt; 于2020年8月26日周三 下午2:17写道：

&gt; 在做反压相关的代码，想请教各位大佬。
&gt;
&gt;
&gt; 有一个分支节点，分支后面有两个节点A和B。假设A节点出现了反压，B节点负载空闲。
&gt; 我想让B节点帮A节点做一些计算，这样B节点就能够缓解一部分A节点的压力。
&gt;
&gt;
&gt; 有什么方法能让Flink在运行过程中，把接下来要发给A节点的数据发送给B节点吗？