flink on k8s作业监控问题

classic Classic list List threaded Threaded
2 messages Options
Reply | Threaded
Open this post in threaded view
|

flink on k8s作业监控问题

casel.chen
请问运行在k8s per job上的flink作业要如何正确监控?一方面通过sidecar的方式收集日志,另一方面要怎么收集那些flink作业metrics? 这方面有什么资料参考吗?
Reply | Threaded
Open this post in threaded view
|

Re: flink on k8s作业监控问题

Yang Wang
可以通过配置PrometheusPushGateway[1]将Metrics导入到Prometheus,然后对接Grafana进行查看

日志除了sidecar,也可以通过log4j2自定义appender的方式,来直接将Log写到分布式存储(阿里云Oss,ElasticSearch)等

[1].
https://ci.apache.org/projects/flink/flink-docs-master/deployment/metric_reporters.html#prometheuspushgateway-orgapacheflinkmetricsprometheusprometheuspushgatewayreporter

Best,
Yang

陈帅 <[hidden email]> 于2021年1月2日周六 下午7:54写道:

> 请问运行在k8s per
> job上的flink作业要如何正确监控?一方面通过sidecar的方式收集日志,另一方面要怎么收集那些flink作业metrics?
> 这方面有什么资料参考吗?