Flink 上报到pushgateway到数据量太大了

classic Classic list List threaded Threaded
2 messages Options
Reply | Threaded
Open this post in threaded view
|

Flink 上报到pushgateway到数据量太大了

Tianwang Li
我在Flink 集成pushgateway到时候,
运行几十个任务,pushgateway到内容就达到了几百万行,太恐怖了。
请问一下,大家有什么优化方案么?

--
**************************************
 tivanli
**************************************
Reply | Threaded
Open this post in threaded view
|

Re: Flink 上报到pushgateway到数据量太大了

Tianwang Li
主要原因是Flink SQL 上报对数据的task_name 太长了,比较吃资源,导致prometheus采集超时。

当前做法是修改org.apache.flink.metrics.prometheus.AbstractPrometheusReporter,对上报对task_name
进行截断。

Tianwang Li <[hidden email]> 于2021年1月19日周二 下午5:36写道:

> 我在Flink 集成pushgateway到时候,
> 运行几十个任务,pushgateway到内容就达到了几百万行,太恐怖了。
> 请问一下,大家有什么优化方案么?
>
> --
> **************************************
>  tivanli
> **************************************
>


--
**************************************
 tivanli
**************************************