flinksql join 数据倾斜

classic Classic list List threaded Threaded
2 messages Options
Reply | Threaded
Open this post in threaded view
|

flinksql join 数据倾斜

chenlei677
场景:join 两张表的字段进行拼接,没有统计工作
问题:join的字段有些可能 几百万条,有的可能是几百条,严重的数据不均衡。

当前措施:
1、4c8g 的 taskmanager,槽位数2、4 都不太理想;
2、将cp interval 由原来的5min,改为1min,刚开始cp很快,几十秒,但是慢慢的就会超时(10m)。

想请教,有其他什么方法可以解决这个问题么?谢谢
Reply | Threaded
Open this post in threaded view
|

Re: flinksql join 数据倾斜

lvzhuyiyi
https://blog.csdn.net/u012443641/article/details/116272577
参考这个,加盐放大小表数据量,再和大表加盐关联