建议使用Batch模式来读取Hive table。
Best,
Jingsong Lee
------------------------------------------------------------------
From:like <
[hidden email]>
Send Time:2020年3月2日(星期一) 16:35
To:
[hidden email] <
[hidden email]>
Subject:回复： 使用Flink1.10.0读取hive时source并行度问题
我使用的是 StreamTableEnvironment，确实有碰到这个问题呢。
在2020年3月2日 16:16，JingsongLee<
[hidden email]> 写道：
> 自动推断可能面临资源不足无法启动的问题
理论上不应该呀？Batch作业是可以部分运行的。
Best,
Jingsong Lee
------------------------------------------------------------------
From:like <
[hidden email]>
Send Time:2020年3月2日(星期一) 15:35
To:
[hidden email] <
[hidden email]>;
[hidden email] <
[hidden email]>
Subject:回复： 使用Flink1.10.0读取hive时source并行度问题
非常感谢！我尝试关闭自动推断后，已经可以控制source并行度了，自动推断可能面临资源不足无法启动的问题。
在2020年3月2日 15:18，JingsongLee<
[hidden email]> 写道： Hi,
1.10中，Hive source是自动推断并发的，你可以使用以下参数配置到flink-conf.yaml里面来控制并发：
- table.exec.hive.infer-source-parallelism=true (默认使用自动推断)
- table.exec.hive.infer-source-parallelism.max=1000 (自动推断的最大并发)
Sink的并发默认和上游的并发相同，如果有Shuffle，使用配置的统一并发。
Best,
Jingsong Lee
------------------------------------------------------------------
From:like <
[hidden email]>
Send Time:2020年3月2日(星期一) 14:58
To:
[hidden email] <
[hidden email]>
Subject:使用Flink1.10.0读取hive时source并行度问题
hi，大家好
我使用flink1.10.0读取hive表，启动时设置了全局的并行度，但是在读取的时候，发现sink并行度是受约束的，
而source的并行度不受此约束，会根据source的大小改变，大的时候并行度大到1000，请问一下怎么处理这个并行度呢？
Locked
