flink动态分区写入hive如何处理数据倾斜的问题

classic Classic list List threaded Threaded
1 message Options
Reply | Threaded
Open this post in threaded view
|

flink动态分区写入hive如何处理数据倾斜的问题

Jun Zhang-2
大家好:
有一个类似的sql 拿官网的这个做示例:INSERT OVERWRITE myparttable SELECT 'Tom', 25, 'type_1', '2019-08-08’;
如果实际上第三个type字段,某一种type数据量特别大,导致了数据倾斜,这种情况一般怎么处理呢?
谢谢。