flink侧输出算子堵住的问题

classic Classic list List threaded Threaded
2 messages Options
Reply | Threaded
Open this post in threaded view
|

flink侧输出算子堵住的问题

ZT.Ren
问题描述:(兄弟部门的问题,不方便截图,请求原谅~~)
      1. flink版本:  1.6.0
      2. 基本流程:flink读取kafka数据 -> json解析->(process并行度6)往下游11条pipeline发送数据
      3. 问题现象: 运行一段时间后,该任务堵住,sink端无数据产生
      4. 监控信息: 任务在map->sideprocess算子处出现反压,下游window->sink未出现反压。 map->sideprocess算子task metrics的outputBufferPool偶尔变成1,绝大时间处于0
 目前感觉,process(并行度6) ->侧路输出到下游(11条分支), 这种场景下侧路输出是否支持?
   

Reply | Threaded
Open this post in threaded view
|

Re: flink侧输出算子堵住的问题

nobleyd
具体DAG描述不够清晰,看不出啥问题。

ZT.Ren <[hidden email]> 于2020年11月9日周一 下午3:53写道:

> 问题描述:(兄弟部门的问题,不方便截图,请求原谅~~)
>       1. flink版本:  1.6.0
>       2. 基本流程:flink读取kafka数据 -> json解析->(process并行度6)往下游11条pipeline发送数据
>       3. 问题现象: 运行一段时间后,该任务堵住,sink端无数据产生
>       4. 监控信息: 任务在map->sideprocess算子处出现反压,下游window->sink未出现反压。
> map->sideprocess算子task metrics的outputBufferPool偶尔变成1,绝大时间处于0
>  目前感觉,process(并行度6) ->侧路输出到下游(11条分支), 这种场景下侧路输出是否支持?
>
>
>