flink 提交 offset 到 kafka

classic Classic list List threaded Threaded
1 message Options
Reply | Threaded
Open this post in threaded view
|

flink 提交 offset 到 kafka

liangji
flink:1.6.2(部分集群未升级。)
kafka:0.11
作业从kafka中消费消息,并运行在yarn上,提供的作业未配置checkpoint,autoCommit设置为true。
作业刚启动时通过kafka-console-consumer.sh可以正常观察到提交的offset,大概50分钟左右,通过kafka-console-consumer.sh就看不到相应的offset信息了(期间没有新消息),请问下flink是有什么机制吗?另外在flink
web ui中看到的committed-offset metric一直显示的是 -915623761776,这是为什么?请大佬们指教,多谢。



--
Sent from: http://apache-flink.147419.n8.nabble.com/