转发:flink1.11流式写入hive速度慢的问题

classic Classic list List threaded Threaded
1 message Options
me
Reply | Threaded
Open this post in threaded view
|

转发:flink1.11流式写入hive速度慢的问题

me
dataStream读取速度在5000条每秒,没有其他的处理逻辑,仅仅是将datastream 转换为table


 原始邮件
发件人: me<[hidden email]>
收件人: user-zh<[hidden email]>
发送时间: 2020年10月9日(周五) 15:34
主题: flink1.11流式写入hive速度慢的问题


flink1.11 将datastream转为table之后,再流式的写入hive表中,发现写入速度只有几十条每秒
val chaitin_test = tableEnv.fromDataStream(dataStream,'test)
chaitin_test.printSchema()
tableEnv.executeSql("insert into chaitin_test select test from " + chaitin_test)