使用influxdb作为flink metrics reporter

classic Classic list List threaded Threaded
5 messages Options
Reply | Threaded
Open this post in threaded view
|

使用influxdb作为flink metrics reporter

pkuvisdudu
大家好,


我按照官网所介绍的flink metrics reporter设置,选用了influxdb,进行了如下设置:
metrics.reporter.influxdb.class:org.apache.flink.metrics.influxdb.InfluxdbReportermetrics.reporter.influxdb.host:localhostmetrics.reporter.influxdb.port:8086metrics.reporter.influxdb.db:flinkmetrics.reporter.influxdb.username:flink-metrics
metrics.reporter.influxdb.password:qwerty
metrics.reporter.influxdb.retentionPolicy:one_hour
但是,启动flink作业(on yarn per job模式)和flinxdb后,发现一直报错:
error  [500] - "retention policy not found: one_hour" {"log_id": "OK6nejJI000", "service": "httpd"} [httpd] 10.90.*.* - flinkuser [03/Jan/2020:19:35:58 +0800] "POST /write? db=flink&rp=one_hour&precision=n&consistency=one HTTP/1.1" 500 49 "-" "okhttp/3.11.0" 3637af63-2e1d-11ea-802a-000c2947e206 165


我使用的是 flink 1.9.1,influxdb版本是1.79.


而且,当我不设置retentionPolicy时,还是会报错,提示:
org.apache.flink.metrics.influxdb.shaded.org.influxdb.InfluxDBException$UnableToParseException: partial write: unable to parse "taskmanager_job_task_operator_sync-time-avg,host=master,job_id=03136f4c1a78e9930262b455ef0657e2,job_name=Flink-app,operator_id=cbc357ccb763df2852fee8c4fc7d55f2,operator_name=XXX,task_attempt_num=0,task_id= cbc357ccb763df2852fee8c4fc7d55f2,task_name=XX,tm_id=container_1577507646998_0054_01_000002 value=? 1578051247605000000": invalid boolean


求问各位大佬,这些问题怎么解决?
谢谢


祝好,



Reply | Threaded
Open this post in threaded view
|

Re: 使用influxdb作为flink metrics reporter

Yun Tang
Hi 张江


  *   Retention policy 需要现在InfluxDB端创建,InfluxDBReporter不会自行创建不存在的 retention policy.
  *   kafka的一些metrics在使用influxDB reporter的时候,会出现一些cast exception,可以参考 [1],在Flink-1.9 版本下可以忽略这些异常。

[1] https://issues.apache.org/jira/browse/FLINK-12147

祝好
唐云
________________________________
From: 张江 <[hidden email]>
Sent: Friday, January 3, 2020 21:22
To: [hidden email] <[hidden email]>
Subject: 使用influxdb作为flink metrics reporter

大家好,


我按照官网所介绍的flink metrics reporter设置,选用了influxdb,进行了如下设置:
metrics.reporter.influxdb.class:org.apache.flink.metrics.influxdb.InfluxdbReportermetrics.reporter.influxdb.host:localhostmetrics.reporter.influxdb.port:8086metrics.reporter.influxdb.db:flinkmetrics.reporter.influxdb.username:flink-metrics
metrics.reporter.influxdb.password:qwerty
metrics.reporter.influxdb.retentionPolicy:one_hour
但是,启动flink作业(on yarn per job模式)和flinxdb后,发现一直报错:
error  [500] - "retention policy not found: one_hour" {"log_id": "OK6nejJI000", "service": "httpd"} [httpd] 10.90.*.* - flinkuser [03/Jan/2020:19:35:58 +0800] "POST /write? db=flink&rp=one_hour&precision=n&consistency=one HTTP/1.1" 500 49 "-" "okhttp/3.11.0" 3637af63-2e1d-11ea-802a-000c2947e206 165


我使用的是 flink 1.9.1,influxdb版本是1.79.


而且,当我不设置retentionPolicy时,还是会报错,提示:
org.apache.flink.metrics.influxdb.shaded.org.influxdb.InfluxDBException$UnableToParseException: partial write: unable to parse "taskmanager_job_task_operator_sync-time-avg,host=master,job_id=03136f4c1a78e9930262b455ef0657e2,job_name=Flink-app,operator_id=cbc357ccb763df2852fee8c4fc7d55f2,operator_name=XXX,task_attempt_num=0,task_id= cbc357ccb763df2852fee8c4fc7d55f2,task_name=XX,tm_id=container_1577507646998_0054_01_000002 value=? 1578051247605000000": invalid boolean


求问各位大佬,这些问题怎么解决?
谢谢


祝好,



Reply | Threaded
Open this post in threaded view
|

回复:使用influxdb作为flink metrics reporter

pkuvisdudu
你好,




我看我这里报错的问题是invalid boolean,并不是NaN/infinity value造成的,不知道是什么原因?




而且我用的flink是1.9.1版本,influxdb是1.7.9版本。




祝好,



| |
张江
|
|
邮箱:[hidden email]
|

签名由 网易邮箱大师 定制

在2020年01月04日 00:56,Yun Tang 写道:
Hi 张江


 *   Retention policy 需要现在InfluxDB端创建,InfluxDBReporter不会自行创建不存在的 retention policy.
 *   kafka的一些metrics在使用influxDB reporter的时候,会出现一些cast exception,可以参考 [1],在Flink-1.9 版本下可以忽略这些异常。

[1] https://issues.apache.org/jira/browse/FLINK-12147

祝好
唐云
________________________________
From: 张江 <[hidden email]>
Sent: Friday, January 3, 2020 21:22
To: [hidden email] <[hidden email]>
Subject: 使用influxdb作为flink metrics reporter

大家好,


我按照官网所介绍的flink metrics reporter设置,选用了influxdb,进行了如下设置:
metrics.reporter.influxdb.class:org.apache.flink.metrics.influxdb.InfluxdbReportermetrics.reporter.influxdb.host:localhostmetrics.reporter.influxdb.port:8086metrics.reporter.influxdb.db:flinkmetrics.reporter.influxdb.username:flink-metrics
metrics.reporter.influxdb.password:qwerty
metrics.reporter.influxdb.retentionPolicy:one_hour
但是,启动flink作业(on yarn per job模式)和flinxdb后,发现一直报错:
error  [500] - "retention policy not found: one_hour" {"log_id": "OK6nejJI000", "service": "httpd"} [httpd] 10.90.*.* - flinkuser [03/Jan/2020:19:35:58 +0800] "POST /write? db=flink&rp=one_hour&precision=n&consistency=one HTTP/1.1" 500 49 "-" "okhttp/3.11.0" 3637af63-2e1d-11ea-802a-000c2947e206 165


我使用的是 flink 1.9.1,influxdb版本是1.79.


而且,当我不设置retentionPolicy时,还是会报错,提示:
org.apache.flink.metrics.influxdb.shaded.org.influxdb.InfluxDBException$UnableToParseException: partial write: unable to parse "taskmanager_job_task_operator_sync-time-avg,host=master,job_id=03136f4c1a78e9930262b455ef0657e2,job_name=Flink-app,operator_id=cbc357ccb763df2852fee8c4fc7d55f2,operator_name=XXX,task_attempt_num=0,task_id= cbc357ccb763df2852fee8c4fc7d55f2,task_name=XX,tm_id=container_1577507646998_0054_01_000002 value=? 1578051247605000000": invalid boolean


求问各位大佬,这些问题怎么解决?
谢谢


祝好,



Reply | Threaded
Open this post in threaded view
|

Re: 回复:使用influxdb作为flink metrics reporter

Yun Tang
Hi 张江

这个invalid boolean 一般是tag和field中间穿插空格有关,导致influxDB识别匹配的时候出了问题,你的原始报错信息是什么,不要隐去你的operator name和task name,另外task_id= 后面的那个空格是你粘贴时候的错误还是原先就是这样。

最后,这些只会是warning,不会导致你的其他metrics数据无法插入,不影响整体使用。

祝好
唐云

________________________________
From: 张江 <[hidden email]>
Sent: Saturday, January 4, 2020 19:14
To: user-zh <[hidden email]>; [hidden email] <[hidden email]>
Subject: 回复:使用influxdb作为flink metrics reporter


你好,


我看我这里报错的问题是invalid boolean,并不是NaN/infinity value造成的,不知道是什么原因?


而且我用的flink是1.9.1版本,influxdb是1.7.9版本。


祝好,

<https://maas.mail.163.com/dashi-web-extend/html/proSignature.html?ftlId=1&name=%E5%BC%A0%E6%B1%9F&uid=zjkingdom2010%40163.com&iconUrl=https%3A%2F%2Fmail-online.nosdn.127.net%2Fqiyelogo%2FdefaultAvatar.png&items=%5B%22%E9%82%AE%E7%AE%B1%EF%BC%9Azjkingdom2010%40163.com%22%5D>
[https://mail-online.nosdn.127.net/qiyelogo/defaultAvatar.png]
张江
邮箱:[hidden email]

签名由 网易邮箱大师<https://mail.163.com/dashi/dlpro.html?from=mail88> 定制

在2020年01月04日 00:56,Yun Tang<mailto:[hidden email]> 写道:
Hi 张江


 *   Retention policy 需要现在InfluxDB端创建,InfluxDBReporter不会自行创建不存在的 retention policy.
 *   kafka的一些metrics在使用influxDB reporter的时候,会出现一些cast exception,可以参考 [1],在Flink-1.9 版本下可以忽略这些异常。

[1] https://issues.apache.org/jira/browse/FLINK-12147

祝好
唐云
________________________________
From: 张江 <[hidden email]>
Sent: Friday, January 3, 2020 21:22
To: [hidden email] <[hidden email]>
Subject: 使用influxdb作为flink metrics reporter

大家好,


我按照官网所介绍的flink metrics reporter设置,选用了influxdb,进行了如下设置:
metrics.reporter.influxdb.class:org.apache.flink.metrics.influxdb.InfluxdbReportermetrics.reporter.influxdb.host:localhostmetrics.reporter.influxdb.port:8086metrics.reporter.influxdb.db:flinkmetrics.reporter.influxdb.username:flink-metrics
metrics.reporter.influxdb.password:qwerty
metrics.reporter.influxdb.retentionPolicy:one_hour
但是,启动flink作业(on yarn per job模式)和flinxdb后,发现一直报错:
error  [500] - "retention policy not found: one_hour" {"log_id": "OK6nejJI000", "service": "httpd"} [httpd] 10.90.*.* - flinkuser [03/Jan/2020:19:35:58 +0800] "POST /write? db=flink&rp=one_hour&precision=n&consistency=one HTTP/1.1" 500 49 "-" "okhttp/3.11.0" 3637af63-2e1d-11ea-802a-000c2947e206 165


我使用的是 flink 1.9.1,influxdb版本是1.79.


而且,当我不设置retentionPolicy时,还是会报错,提示:
org.apache.flink.metrics.influxdb.shaded.org.influxdb.InfluxDBException$UnableToParseException: partial write: unable to parse "taskmanager_job_task_operator_sync-time-avg,host=master,job_id=03136f4c1a78e9930262b455ef0657e2,job_name=Flink-app,operator_id=cbc357ccb763df2852fee8c4fc7d55f2,operator_name=XXX,task_attempt_num=0,task_id= cbc357ccb763df2852fee8c4fc7d55f2,task_name=XX,tm_id=container_1577507646998_0054_01_000002 value=? 1578051247605000000": invalid boolean


求问各位大佬,这些问题怎么解决?
谢谢


祝好,



Reply | Threaded
Open this post in threaded view
|

Re:Re: 回复:使用influxdb作为flink metrics reporter

pkuvisdudu
好的,多谢
在 2020-01-06 01:38:22,"Yun Tang" <[hidden email]> 写道:

>Hi 张江
>
>这个invalid boolean 一般是tag和field中间穿插空格有关,导致influxDB识别匹配的时候出了问题,你的原始报错信息是什么,不要隐去你的operator name和task name,另外task_id= 后面的那个空格是你粘贴时候的错误还是原先就是这样。
>
>最后,这些只会是warning,不会导致你的其他metrics数据无法插入,不影响整体使用。
>
>祝好
>唐云
>
>________________________________
>From: 张江 <[hidden email]>
>Sent: Saturday, January 4, 2020 19:14
>To: user-zh <[hidden email]>; [hidden email] <[hidden email]>
>Subject: 回复:使用influxdb作为flink metrics reporter
>
>
>你好,
>
>
>我看我这里报错的问题是invalid boolean,并不是NaN/infinity value造成的,不知道是什么原因?
>
>
>而且我用的flink是1.9.1版本,influxdb是1.7.9版本。
>
>
>祝好,
>
><https://maas.mail.163.com/dashi-web-extend/html/proSignature.html?ftlId=1&name=%E5%BC%A0%E6%B1%9F&uid=zjkingdom2010%40163.com&iconUrl=https%3A%2F%2Fmail-online.nosdn.127.net%2Fqiyelogo%2FdefaultAvatar.png&items=%5B%22%E9%82%AE%E7%AE%B1%EF%BC%9Azjkingdom2010%40163.com%22%5D>
>[https://mail-online.nosdn.127.net/qiyelogo/defaultAvatar.png]
>张江
>邮箱:[hidden email]
>
>签名由 网易邮箱大师<https://mail.163.com/dashi/dlpro.html?from=mail88> 定制
>
>在2020年01月04日 00:56,Yun Tang<mailto:[hidden email]> 写道:
>Hi 张江
>
>
> *   Retention policy 需要现在InfluxDB端创建,InfluxDBReporter不会自行创建不存在的 retention policy.
> *   kafka的一些metrics在使用influxDB reporter的时候,会出现一些cast exception,可以参考 [1],在Flink-1.9 版本下可以忽略这些异常。
>
>[1] https://issues.apache.org/jira/browse/FLINK-12147
>
>祝好
>唐云
>________________________________
>From: 张江 <[hidden email]>
>Sent: Friday, January 3, 2020 21:22
>To: [hidden email] <[hidden email]>
>Subject: 使用influxdb作为flink metrics reporter
>
>大家好,
>
>
>我按照官网所介绍的flink metrics reporter设置,选用了influxdb,进行了如下设置:
>metrics.reporter.influxdb.class:org.apache.flink.metrics.influxdb.InfluxdbReportermetrics.reporter.influxdb.host:localhostmetrics.reporter.influxdb.port:8086metrics.reporter.influxdb.db:flinkmetrics.reporter.influxdb.username:flink-metrics
>metrics.reporter.influxdb.password:qwerty
>metrics.reporter.influxdb.retentionPolicy:one_hour
>但是,启动flink作业(on yarn per job模式)和flinxdb后,发现一直报错:
>error  [500] - "retention policy not found: one_hour" {"log_id": "OK6nejJI000", "service": "httpd"} [httpd] 10.90.*.* - flinkuser [03/Jan/2020:19:35:58 +0800] "POST /write? db=flink&rp=one_hour&precision=n&consistency=one HTTP/1.1" 500 49 "-" "okhttp/3.11.0" 3637af63-2e1d-11ea-802a-000c2947e206 165
>
>
>我使用的是 flink 1.9.1,influxdb版本是1.79.
>
>
>而且,当我不设置retentionPolicy时,还是会报错,提示:
>org.apache.flink.metrics.influxdb.shaded.org.influxdb.InfluxDBException$UnableToParseException: partial write: unable to parse "taskmanager_job_task_operator_sync-time-avg,host=master,job_id=03136f4c1a78e9930262b455ef0657e2,job_name=Flink-app,operator_id=cbc357ccb763df2852fee8c4fc7d55f2,operator_name=XXX,task_attempt_num=0,task_id= cbc357ccb763df2852fee8c4fc7d55f2,task_name=XX,tm_id=container_1577507646998_0054_01_000002 value=? 1578051247605000000": invalid boolean
>
>
>求问各位大佬,这些问题怎么解决?
>谢谢
>
>
>祝好,
>
>
>