flink1.11读取kafka问题

classic Classic list List threaded Threaded
5 messages Options
Reply | Threaded
Open this post in threaded view
|

flink1.11读取kafka问题

咿咿呀呀
麻烦请教一个问题,在单机的Linux下运行,过程是读取kafka,然后写入到mysql库中,mysql数据记录达到1千万的时候,flink挂机但是不再去读kafka的偏移量了,等了7,8小时也没去读,麻烦问下这个可能的问题是啥呢
Reply | Threaded
Open this post in threaded view
|

Re: flink1.11读取kafka问题

Leonard Xu
Hi

是不是下游(sink mysql)反压了导致上游不再消费了,可以通过看看webui的指标[1]确定下。

祝好
Leonard
[1]https://ci.apache.org/projects/flink/flink-docs-master/zh/monitoring/back_pressure.html <https://ci.apache.org/projects/flink/flink-docs-master/zh/monitoring/back_pressure.html>

> 在 2020年8月28日,09:22,小学生 <[hidden email]> 写道:
>
> 麻烦请教一个问题,在单机的Linux下运行,过程是读取kafka,然后写入到mysql库中,mysql数据记录达到1千万的时候,flink挂机但是不再去读kafka的偏移量了,等了7,8小时也没去读,麻烦问下这个可能的问题是啥呢

Reply | Threaded
Open this post in threaded view
|

Re: flink1.11读取kafka问题

咿咿呀呀
我认真的查看了,居然没有反压,反压比率为0,这个怎么搞呢
Reply | Threaded
Open this post in threaded view
|

Re: flink1.11读取kafka问题

JasonLee
hi

首先是确认一下kafka是否有数据写入,其次把所有的operator都看下是否有反压的情况



--
Sent from: http://apache-flink.147419.n8.nabble.com/
Best Wishes
JasonLee
Reply | Threaded
Open this post in threaded view
|

Re: flink1.11读取kafka问题

咿咿呀呀
我看了下,应该是线程锁了,&nbsp;&nbsp;&nbsp;&nbsp;Number of locked synchronizers = 1
&nbsp;&nbsp;&nbsp;&nbsp;- java.util.concurrent.locks.ReentrantLock$FairSync@f89de92
这种有啥解决思路呢