pyflink下同时读查mysql优化求助

classic Classic list List threaded Threaded
2 messages Options
Reply | Threaded
Open this post in threaded view
|

pyflink下同时读查mysql优化求助

咿咿呀呀
各位大佬,我现在通过pyflink实时将kafka的消息获取,一条线直接进入mysql,另一条线通过udf去查该mysql的历史数据进行计算,当数据量达到1百万的时候,性能就下降了。怎么优化呢
Reply | Threaded
Open this post in threaded view
|

Re:pyflink下同时读查mysql优化求助

hailongwang
Hi,
  我理解主要是在写入或者查询的网络IO上。对于写入的化,可以批量写入,减少网络IO。
查询的话,如果数据特点比较适合做缓存的话,可以增加 LRU 缓存,异步查询等。
Best,
Hailong Wang
在 2020-10-19 12:19:34,"小学生" <[hidden email]> 写道:
>各位大佬,我现在通过pyflink实时将kafka的消息获取,一条线直接进入mysql,另一条线通过udf去查该mysql的历史数据进行计算,当数据量达到1百万的时候,性能就下降了。怎么优化呢