flink1.10 广播流更新卡住

[洪雪芬]

Hi!
在使用flink广播流实现配置定时更新的过程中，出现下游算子并行度大于1时，下游算子获取更新到的广播流卡住的情况，即广播流算子持续发送数据，但下游算子只接收到前一小部分数据，然后就没有接收到新数据的情况，但无报错日志。
但该问题在本地IDEA运行时无法复现，提交到集群上以yarn-cluster模式运行时则会出现。
大家有没有遇到过类似的情况？是什么原因导致这样的问题，有什么解决方案吗？

[nobleyd]

并行度1就没问题吗？

洪雪芬 <[hidden email]> 于2020年12月22日周二 下午1:45写道：

> Hi!
>
> 在使用flink广播流实现配置定时更新的过程中，出现下游算子并行度大于1时，下游算子获取更新到的广播流卡住的情况，即广播流算子持续发送数据，但下游算子只接收到前一小部分数据，然后就没有接收到新数据的情况，但无报错日志。
> 但该问题在本地IDEA运行时无法复现，提交到集群上以yarn-cluster模式运行时则会出现。
> 大家有没有遇到过类似的情况？是什么原因导致这样的问题，有什么解决方案吗？
>

[洪雪芬]

对的，广播流算子的并行度一直为1，下游算子的并行度为1则正常，大于1则出现广播流更新卡住的情况，无报错，定位不到问题。

> 在 2020年12月22日，18:39，赵一旦 <[hidden email]> 写道：
>
> 并行度1就没问题吗？
>
> 洪雪芬 <[hidden email]> 于2020年12月22日周二 下午1:45写道：
>
>> Hi!
>>
>> 在使用flink广播流实现配置定时更新的过程中，出现下游算子并行度大于1时，下游算子获取更新到的广播流卡住的情况，即广播流算子持续发送数据，但下游算子只接收到前一小部分数据，然后就没有接收到新数据的情况，但无报错日志。
>> 但该问题在本地IDEA运行时无法复现，提交到集群上以yarn-cluster模式运行时则会出现。
>> 大家有没有遇到过类似的情况？是什么原因导致这样的问题，有什么解决方案吗？
>>

[nobleyd]

有没有反压。

洪雪芬 <[hidden email]> 于2020年12月22日周二 下午7:11写道：

> 对的，广播流算子的并行度一直为1，下游算子的并行度为1则正常，大于1则出现广播流更新卡住的情况，无报错，定位不到问题。
>
>
> > 在 2020年12月22日，18:39，赵一旦 <[hidden email]> 写道：
> >
> > 并行度1就没问题吗？
> >
> > 洪雪芬 <[hidden email]> 于2020年12月22日周二 下午1:45写道：
> >
> >> Hi!
> >>
> >>
> 在使用flink广播流实现配置定时更新的过程中，出现下游算子并行度大于1时，下游算子获取更新到的广播流卡住的情况，即广播流算子持续发送数据，但下游算子只接收到前一小部分数据，然后就没有接收到新数据的情况，但无报错日志。
> >> 但该问题在本地IDEA运行时无法复现，提交到集群上以yarn-cluster模式运行时则会出现。
> >> 大家有没有遇到过类似的情况？是什么原因导致这样的问题，有什么解决方案吗？
> >>
>

[洪雪芬]

从监控上看没有反压。广播流的数据量并不大，几百k，定时更新的间隔设的是1分钟。

>
>
>> 在 2020年12月22日，20:53，赵一旦 <[hidden email]> 写道：
>>
>> 有没有反压。
>>
>> 洪雪芬 <[hidden email]> 于2020年12月22日周二 下午7:11写道：
>>
>>> 对的，广播流算子的并行度一直为1，下游算子的并行度为1则正常，大于1则出现广播流更新卡住的情况，无报错，定位不到问题。
>>>
>>>
>>>>>> 在 2020年12月22日，18:39，赵一旦 <[hidden email]> 写道：
>>>>>
>>>>> 并行度1就没问题吗？
>>>>>
>>>>> 洪雪芬 <[hidden email]> 于2020年12月22日周二 下午1:45写道：
>>>>>
>>>>>> Hi!
>>>>>>
>>>>>>
>>> 在使用flink广播流实现配置定时更新的过程中，出现下游算子并行度大于1时，下游算子获取更新到的广播流卡住的情况，即广播流算子持续发送数据，但下游算子只接收到前一小部分数据，然后就没有接收到新数据的情况，但无报错日志。
>>>>> 但该问题在本地IDEA运行时无法复现，提交到集群上以yarn-cluster模式运行时则会出现。
>>>>> 大家有没有遇到过类似的情况？是什么原因导致这样的问题，有什么解决方案吗？
>>>>>
>>>