flink1.9.1 在WebUI中查看committedOffsets指标为负值

classic Classic list List threaded Threaded
5 messages Options
Reply | Threaded
Open this post in threaded view
|

flink1.9.1 在WebUI中查看committedOffsets指标为负值

bradyMk
CONTENTS DELETED
The author has deleted this message.
Reply | Threaded
Open this post in threaded view
|

Re: flink1.9.1 在WebUI中查看committedOffsets指标为负值

shizk233
可以检查下在patition3上有没有成功提交过offsets。负值可能是没有提交过情况下的默认值(我猜这是个不变值)。

bradyMk <[hidden email]> 于2020年7月29日周三 下午6:36写道:

> flink1.9.1
>
> 在WebUI中查看Source__Custom_Source.KafkaConsumer.topic.geek-event-target.partition.3.committedOffsets指标为负值,查看官网释义:对于每个分区,最后一次成功提交到Kafka的偏移量。
> 但我这里为什么是负值呢?
> <
> http://apache-flink.147419.n8.nabble.com/file/t802/%E6%8D%95%E8%8E%B711.png>
>
>
> 希望能得到指导,万分感谢~
>
>
>
> --
> Sent from: http://apache-flink.147419.n8.nabble.com/
>
Reply | Threaded
Open this post in threaded view
|

Re: flink1.9.1 在WebUI中查看committedOffsets指标为负值

bradyMk
CONTENTS DELETED
The author has deleted this message.
Reply | Threaded
Open this post in threaded view
|

Re: flink1.9.1 在WebUI中查看committedOffsets指标为负值

shizk233
如JasonLee所说,你可以在FlinkKafkaConsumerBase的notifyCheckpointComplete方法中看到提交offset的逻辑。
值得注意的是,此处的chk完成指的是整个链路上的chk完成,而不是kafka source的chk完成。


JasonLee <[hidden email]> 于2020年7月30日周四 下午9:59写道:

> hi
> 提交offset到Kafka是在ck成功之后 如果没有开启ck的话 需要设置自动提交提交offset
>
>
> | |
> JasonLee
> |
> |
> 邮箱:[hidden email]
> |
>
> Signature is customized by Netease Mail Master
>
> 在2020年07月30日 19:37,bradyMk 写道:
> 谢谢解答~
>
> 这个确实是个不变的值,应该是没有成功提交;而且我发现了,只要是没有设置ck的任务,该指标都会显示这个值,如果设置了ck,就会正常;但是我不懂为什么会这样,请问您知道详细的原因么?
>
>
>
> --
> Sent from: http://apache-flink.147419.n8.nabble.com/
Reply | Threaded
Open this post in threaded view
|

Re: flink1.9.1 在WebUI中查看committedOffsets指标为负值

bradyMk
CONTENTS DELETED
The author has deleted this message.