使用influxdb作为flink metrics reporter
Locked
使用influxdb作为flink metrics reporter
 
|
大家好，
我按照官网所介绍的flink metrics reporter设置，选用了influxdb，进行了如下设置： metrics.reporter.influxdb.class:org.apache.flink.metrics.influxdb.InfluxdbReportermetrics.reporter.influxdb.host:localhostmetrics.reporter.influxdb.port:8086metrics.reporter.influxdb.db:flinkmetrics.reporter.influxdb.username:flink-metrics metrics.reporter.influxdb.password:qwerty metrics.reporter.influxdb.retentionPolicy:one_hour 但是，启动flink作业（on yarn per job模式）和flinxdb后，发现一直报错： error [500] - "retention policy not found: one_hour" {"log_id": "OK6nejJI000", "service": "httpd"} [httpd] 10.90.*.* - flinkuser [03/Jan/2020:19:35:58 +0800] "POST /write? db=flink&rp=one_hour&precision=n&consistency=one HTTP/1.1" 500 49 "-" "okhttp/3.11.0" 3637af63-2e1d-11ea-802a-000c2947e206 165 我使用的是 flink 1.9.1，influxdb版本是1.79. 而且，当我不设置retentionPolicy时，还是会报错，提示： org.apache.flink.metrics.influxdb.shaded.org.influxdb.InfluxDBException$UnableToParseException: partial write: unable to parse "taskmanager_job_task_operator_sync-time-avg,host=master,job_id=03136f4c1a78e9930262b455ef0657e2,job_name=Flink-app,operator_id=cbc357ccb763df2852fee8c4fc7d55f2,operator_name=XXX,task_attempt_num=0,task_id= cbc357ccb763df2852fee8c4fc7d55f2,task_name=XX,tm_id=container_1577507646998_0054_01_000002 value=? 1578051247605000000": invalid boolean 求问各位大佬，这些问题怎么解决？ 谢谢 祝好， |
|
Hi 张江
* Retention policy 需要现在InfluxDB端创建，InfluxDBReporter不会自行创建不存在的 retention policy. * kafka的一些metrics在使用influxDB reporter的时候，会出现一些cast exception，可以参考 [1]，在Flink-1.9 版本下可以忽略这些异常。 [1] https://issues.apache.org/jira/browse/FLINK-12147 祝好 唐云 ________________________________ From: 张江 <[hidden email]> Sent: Friday, January 3, 2020 21:22 To: [hidden email] <[hidden email]> Subject: 使用influxdb作为flink metrics reporter 大家好， 我按照官网所介绍的flink metrics reporter设置，选用了influxdb，进行了如下设置： metrics.reporter.influxdb.class:org.apache.flink.metrics.influxdb.InfluxdbReportermetrics.reporter.influxdb.host:localhostmetrics.reporter.influxdb.port:8086metrics.reporter.influxdb.db:flinkmetrics.reporter.influxdb.username:flink-metrics metrics.reporter.influxdb.password:qwerty metrics.reporter.influxdb.retentionPolicy:one_hour 但是，启动flink作业（on yarn per job模式）和flinxdb后，发现一直报错： error [500] - "retention policy not found: one_hour" {"log_id": "OK6nejJI000", "service": "httpd"} [httpd] 10.90.*.* - flinkuser [03/Jan/2020:19:35:58 +0800] "POST /write? db=flink&rp=one_hour&precision=n&consistency=one HTTP/1.1" 500 49 "-" "okhttp/3.11.0" 3637af63-2e1d-11ea-802a-000c2947e206 165 我使用的是 flink 1.9.1，influxdb版本是1.79. 而且，当我不设置retentionPolicy时，还是会报错，提示： org.apache.flink.metrics.influxdb.shaded.org.influxdb.InfluxDBException$UnableToParseException: partial write: unable to parse "taskmanager_job_task_operator_sync-time-avg,host=master,job_id=03136f4c1a78e9930262b455ef0657e2,job_name=Flink-app,operator_id=cbc357ccb763df2852fee8c4fc7d55f2,operator_name=XXX,task_attempt_num=0,task_id= cbc357ccb763df2852fee8c4fc7d55f2,task_name=XX,tm_id=container_1577507646998_0054_01_000002 value=? 1578051247605000000": invalid boolean 求问各位大佬，这些问题怎么解决？ 谢谢 祝好， |
回复：使用influxdb作为flink metrics reporter
|
|
你好，
我看我这里报错的问题是invalid boolean，并不是NaN/infinity value造成的，不知道是什么原因？ 而且我用的flink是1.9.1版本，influxdb是1.7.9版本。 祝好， | | 张江 | | 邮箱：[hidden email] | 签名由 网易邮箱大师 定制 在2020年01月04日 00:56，Yun Tang 写道： Hi 张江 * Retention policy 需要现在InfluxDB端创建，InfluxDBReporter不会自行创建不存在的 retention policy. * kafka的一些metrics在使用influxDB reporter的时候，会出现一些cast exception，可以参考 [1]，在Flink-1.9 版本下可以忽略这些异常。 [1] https://issues.apache.org/jira/browse/FLINK-12147 祝好 唐云 ________________________________ From: 张江 <[hidden email]> Sent: Friday, January 3, 2020 21:22 To: [hidden email] <[hidden email]> Subject: 使用influxdb作为flink metrics reporter 大家好， 我按照官网所介绍的flink metrics reporter设置，选用了influxdb，进行了如下设置： metrics.reporter.influxdb.class:org.apache.flink.metrics.influxdb.InfluxdbReportermetrics.reporter.influxdb.host:localhostmetrics.reporter.influxdb.port:8086metrics.reporter.influxdb.db:flinkmetrics.reporter.influxdb.username:flink-metrics metrics.reporter.influxdb.password:qwerty metrics.reporter.influxdb.retentionPolicy:one_hour 但是，启动flink作业（on yarn per job模式）和flinxdb后，发现一直报错： error [500] - "retention policy not found: one_hour" {"log_id": "OK6nejJI000", "service": "httpd"} [httpd] 10.90.*.* - flinkuser [03/Jan/2020:19:35:58 +0800] "POST /write? db=flink&rp=one_hour&precision=n&consistency=one HTTP/1.1" 500 49 "-" "okhttp/3.11.0" 3637af63-2e1d-11ea-802a-000c2947e206 165 我使用的是 flink 1.9.1，influxdb版本是1.79. 而且，当我不设置retentionPolicy时，还是会报错，提示： org.apache.flink.metrics.influxdb.shaded.org.influxdb.InfluxDBException$UnableToParseException: partial write: unable to parse "taskmanager_job_task_operator_sync-time-avg,host=master,job_id=03136f4c1a78e9930262b455ef0657e2,job_name=Flink-app,operator_id=cbc357ccb763df2852fee8c4fc7d55f2,operator_name=XXX,task_attempt_num=0,task_id= cbc357ccb763df2852fee8c4fc7d55f2,task_name=XX,tm_id=container_1577507646998_0054_01_000002 value=? 1578051247605000000": invalid boolean 求问各位大佬，这些问题怎么解决？ 谢谢 祝好， |
|
|
Hi 张江
这个invalid boolean 一般是tag和field中间穿插空格有关，导致influxDB识别匹配的时候出了问题，你的原始报错信息是什么，不要隐去你的operator name和task name，另外task_id= 后面的那个空格是你粘贴时候的错误还是原先就是这样。 最后，这些只会是warning，不会导致你的其他metrics数据无法插入，不影响整体使用。 祝好 唐云 ________________________________ From: 张江 <[hidden email]> Sent: Saturday, January 4, 2020 19:14 To: user-zh <[hidden email]>; [hidden email] <[hidden email]> Subject: 回复：使用influxdb作为flink metrics reporter 你好， 我看我这里报错的问题是invalid boolean，并不是NaN/infinity value造成的，不知道是什么原因？ 而且我用的flink是1.9.1版本，influxdb是1.7.9版本。 祝好， <https://maas.mail.163.com/dashi-web-extend/html/proSignature.html?ftlId=1&name=%E5%BC%A0%E6%B1%9F&uid=zjkingdom2010%40163.com&iconUrl=https%3A%2F%2Fmail-online.nosdn.127.net%2Fqiyelogo%2FdefaultAvatar.png&items=%5B%22%E9%82%AE%E7%AE%B1%EF%BC%9Azjkingdom2010%40163.com%22%5D> [https://mail-online.nosdn.127.net/qiyelogo/defaultAvatar.png] 张江 邮箱：[hidden email] 签名由 网易邮箱大师<https://mail.163.com/dashi/dlpro.html?from=mail88> 定制 在2020年01月04日 00:56，Yun Tang<mailto:[hidden email]> 写道： Hi 张江 * Retention policy 需要现在InfluxDB端创建，InfluxDBReporter不会自行创建不存在的 retention policy. * kafka的一些metrics在使用influxDB reporter的时候，会出现一些cast exception，可以参考 [1]，在Flink-1.9 版本下可以忽略这些异常。 [1] https://issues.apache.org/jira/browse/FLINK-12147 祝好 唐云 ________________________________ From: 张江 <[hidden email]> Sent: Friday, January 3, 2020 21:22 To: [hidden email] <[hidden email]> Subject: 使用influxdb作为flink metrics reporter 大家好， 我按照官网所介绍的flink metrics reporter设置，选用了influxdb，进行了如下设置： metrics.reporter.influxdb.class:org.apache.flink.metrics.influxdb.InfluxdbReportermetrics.reporter.influxdb.host:localhostmetrics.reporter.influxdb.port:8086metrics.reporter.influxdb.db:flinkmetrics.reporter.influxdb.username:flink-metrics metrics.reporter.influxdb.password:qwerty metrics.reporter.influxdb.retentionPolicy:one_hour 但是，启动flink作业（on yarn per job模式）和flinxdb后，发现一直报错： error [500] - "retention policy not found: one_hour" {"log_id": "OK6nejJI000", "service": "httpd"} [httpd] 10.90.*.* - flinkuser [03/Jan/2020:19:35:58 +0800] "POST /write? db=flink&rp=one_hour&precision=n&consistency=one HTTP/1.1" 500 49 "-" "okhttp/3.11.0" 3637af63-2e1d-11ea-802a-000c2947e206 165 我使用的是 flink 1.9.1，influxdb版本是1.79. 而且，当我不设置retentionPolicy时，还是会报错，提示： org.apache.flink.metrics.influxdb.shaded.org.influxdb.InfluxDBException$UnableToParseException: partial write: unable to parse "taskmanager_job_task_operator_sync-time-avg,host=master,job_id=03136f4c1a78e9930262b455ef0657e2,job_name=Flink-app,operator_id=cbc357ccb763df2852fee8c4fc7d55f2,operator_name=XXX,task_attempt_num=0,task_id= cbc357ccb763df2852fee8c4fc7d55f2,task_name=XX,tm_id=container_1577507646998_0054_01_000002 value=? 1578051247605000000": invalid boolean 求问各位大佬，这些问题怎么解决？ 谢谢 祝好， |
Re:Re: 回复：使用influxdb作为flink metrics reporter
|
|
好的，多谢
在 2020-01-06 01:38:22，"Yun Tang" <[hidden email]> 写道： >Hi 张江 > >这个invalid boolean 一般是tag和field中间穿插空格有关，导致influxDB识别匹配的时候出了问题，你的原始报错信息是什么，不要隐去你的operator name和task name，另外task_id= 后面的那个空格是你粘贴时候的错误还是原先就是这样。 > >最后，这些只会是warning，不会导致你的其他metrics数据无法插入，不影响整体使用。 > >祝好 >唐云 > >________________________________ >From: 张江 <[hidden email]> >Sent: Saturday, January 4, 2020 19:14 >To: user-zh <[hidden email]>; [hidden email] <[hidden email]> >Subject: 回复：使用influxdb作为flink metrics reporter > > >你好， > > >我看我这里报错的问题是invalid boolean，并不是NaN/infinity value造成的，不知道是什么原因？ > > >而且我用的flink是1.9.1版本，influxdb是1.7.9版本。 > > >祝好， > ><https://maas.mail.163.com/dashi-web-extend/html/proSignature.html?ftlId=1&name=%E5%BC%A0%E6%B1%9F&uid=zjkingdom2010%40163.com&iconUrl=https%3A%2F%2Fmail-online.nosdn.127.net%2Fqiyelogo%2FdefaultAvatar.png&items=%5B%22%E9%82%AE%E7%AE%B1%EF%BC%9Azjkingdom2010%40163.com%22%5D> >[https://mail-online.nosdn.127.net/qiyelogo/defaultAvatar.png] >张江 >邮箱：[hidden email] > >签名由 网易邮箱大师<https://mail.163.com/dashi/dlpro.html?from=mail88> 定制 > >在2020年01月04日 00:56，Yun Tang<mailto:[hidden email]> 写道： >Hi 张江 > > > * Retention policy 需要现在InfluxDB端创建，InfluxDBReporter不会自行创建不存在的 retention policy. > * kafka的一些metrics在使用influxDB reporter的时候，会出现一些cast exception，可以参考 [1]，在Flink-1.9 版本下可以忽略这些异常。 > >[1] https://issues.apache.org/jira/browse/FLINK-12147 > >祝好 >唐云 >________________________________ >From: 张江 <[hidden email]> >Sent: Friday, January 3, 2020 21:22 >To: [hidden email] <[hidden email]> >Subject: 使用influxdb作为flink metrics reporter > >大家好， > > >我按照官网所介绍的flink metrics reporter设置，选用了influxdb，进行了如下设置： >metrics.reporter.influxdb.class:org.apache.flink.metrics.influxdb.InfluxdbReportermetrics.reporter.influxdb.host:localhostmetrics.reporter.influxdb.port:8086metrics.reporter.influxdb.db:flinkmetrics.reporter.influxdb.username:flink-metrics >metrics.reporter.influxdb.password:qwerty >metrics.reporter.influxdb.retentionPolicy:one_hour >但是，启动flink作业（on yarn per job模式）和flinxdb后，发现一直报错： >error [500] - "retention policy not found: one_hour" {"log_id": "OK6nejJI000", "service": "httpd"} [httpd] 10.90.*.* - flinkuser [03/Jan/2020:19:35:58 +0800] "POST /write? db=flink&rp=one_hour&precision=n&consistency=one HTTP/1.1" 500 49 "-" "okhttp/3.11.0" 3637af63-2e1d-11ea-802a-000c2947e206 165 > > >我使用的是 flink 1.9.1，influxdb版本是1.79. > > >而且，当我不设置retentionPolicy时，还是会报错，提示： >org.apache.flink.metrics.influxdb.shaded.org.influxdb.InfluxDBException$UnableToParseException: partial write: unable to parse "taskmanager_job_task_operator_sync-time-avg,host=master,job_id=03136f4c1a78e9930262b455ef0657e2,job_name=Flink-app,operator_id=cbc357ccb763df2852fee8c4fc7d55f2,operator_name=XXX,task_attempt_num=0,task_id= cbc357ccb763df2852fee8c4fc7d55f2,task_name=XX,tm_id=container_1577507646998_0054_01_000002 value=? 1578051247605000000": invalid boolean > > >求问各位大佬，这些问题怎么解决？ >谢谢 > > >祝好， > > > |
«
Return to Apache Flink 中文用户邮件列表
|
1 view|%1 views
| Free forum by Nabble | Edit this page |