回复:关于flink sql并行度问题的请教

classic Classic list List threaded Threaded
1 message Options
me
Reply | Threaded
Open this post in threaded view
|

回复:关于flink sql并行度问题的请教

me
val tableConfig = tableEnv.getConfig.getConfiguration
tableConfig.setString("table.exec.resource.default-parallelism","4")
已经加了table的并行度设置,但是提示小于104并行度不让执行。。。。
 Vertex Source: HiveTableSource()'s parallelism (104) is higher than the max parallelism (4). Please lower the parallelism or increase the max parallelism


 原始邮件
发件人: me<[hidden email]>
收件人: user-zh<[hidden email]>
发送时间: 2020年9月4日(周五) 15:18
主题: 关于flink sql并行度问题的请教


我的代码中使用flinksql,本机idea中测试没有问题,放到集群上跑之后,占用了全部40个slots,并且并行度为114,程序也一直卡着没有输出,是一个加入了时间窗口的flink sql 我再代码中全局设置了,dataStreamEnv.setParallelism(4) dataStreamEnv.setMaxParallelism(4) 但是感觉完全不起作用,请问怎么去限制flink sql的并行度?