flink sql hbase维表关联性能上不去

classic Classic list List threaded Threaded
1 message Options
Reply | Threaded
Open this post in threaded view
|

flink sql hbase维表关联性能上不去

kandy.wang
看了一下hbase的维表关联主要是通过org.apache.flink.connector.hbase.source.HBaseRowDataLookupFunction 实现的,测试了一下性能tps只有大概3-4w, 经加本地cache之后性能仍然没有提升。 分析了一下flink ui LookupJoin 是与kafka source的算子 chain 在一起了,这样整个算子的并行度就受限于kafka分区的并行度。
1.想问一下这块的 hbase connector开发,是否有做过connector的性能测试。
2.想问一下,hbase维表关联还有没有性能提升手段。感觉这样的性能都达不到上生产应用的要求。