Apache Flink 中文用户邮件列表
Search
everywhere
only in this topic
Advanced Search
flink1.11读取kafka问题
Classic
List
Threaded
♦
♦
Locked
5 messages
咿咿呀呀
Reply
|
Threaded
Open this post in threaded view
♦
♦
|
flink1.11读取kafka问题
麻烦请教一个问题,在单机的Linux下运行,过程是读取kafka,然后写入到mysql库中,mysql数据记录达到1千万的时候,flink挂机但是不再去读kafka的偏移量了,等了7,8小时也没去读,麻烦问下这个可能的问题是啥呢
Leonard Xu
Reply
|
Threaded
Open this post in threaded view
♦
♦
|
Re: flink1.11读取kafka问题
Hi
是不是下游(sink mysql)反压了导致上游不再消费了,可以通过看看webui的指标[1]确定下。
祝好
Leonard
[1]
https://ci.apache.org/projects/flink/flink-docs-master/zh/monitoring/back_pressure.html
<
https://ci.apache.org/projects/flink/flink-docs-master/zh/monitoring/back_pressure.html
>
> 在 2020年8月28日,09:22,小学生 <
[hidden email]
> 写道:
>
> 麻烦请教一个问题,在单机的Linux下运行,过程是读取kafka,然后写入到mysql库中,mysql数据记录达到1千万的时候,flink挂机但是不再去读kafka的偏移量了,等了7,8小时也没去读,麻烦问下这个可能的问题是啥呢
咿咿呀呀
Reply
|
Threaded
Open this post in threaded view
♦
♦
|
Re: flink1.11读取kafka问题
我认真的查看了,居然没有反压,反压比率为0,这个怎么搞呢
JasonLee
Reply
|
Threaded
Open this post in threaded view
♦
♦
|
Re: flink1.11读取kafka问题
hi
首先是确认一下kafka是否有数据写入,其次把所有的operator都看下是否有反压的情况
--
Sent from:
http://apache-flink.147419.n8.nabble.com/
Best Wishes
JasonLee
咿咿呀呀
Reply
|
Threaded
Open this post in threaded view
♦
♦
|
Re: flink1.11读取kafka问题
我看了下,应该是线程锁了, Number of locked synchronizers = 1
- java.util.concurrent.locks.ReentrantLock$FairSync@f89de92
这种有啥解决思路呢
Free forum by Nabble
Edit this page