Apache Flink 中文用户邮件列表

回复：使用Flink1.10.0读取hive时source并行度问题

Classic

List

Threaded

2 messages Options

Jun Zhang-2

回复：使用Flink1.10.0读取hive时source并行度问题

嗯嗯，其实我觉得我写的这个示例sql应该是一个使用很广泛的sql，我新建了hive表，并且导入了数据之后，一般都会使用类似的sql来验证一下表建的对不对，数据是否正确。

在2020年03月4日 13:25，JingsongLee<[hidden email]> 写道：

Hi jun,

Jira: https://issues.apache.org/jira/browse/FLINK-16413
FYI

Best,
Jingsong Lee

------------------------------------------------------------------
From:JingsongLee <[hidden email]>
Send Time:2020年3月3日(星期二) 19:06
To:Jun Zhang <[hidden email]>; [hidden email] <[hidden email]>
Cc:[hidden email] <[hidden email]>; like <[hidden email]>
Subject:Re: 使用Flink1.10.0读取hive时source并行度问题

Hi jun,

很好的建议~ 这是一个优化点~ 可以建一个JIRA

Best,
Jingsong Lee

------------------------------------------------------------------
From:Jun Zhang <[hidden email]>
Send Time:2020年3月3日(星期二) 18:45
To:[hidden email] <[hidden email]>; JingsongLee <[hidden email]>
Cc:[hidden email] <[hidden email]>; like <[hidden email]>
Subject:回复：使用Flink1.10.0读取hive时source并行度问题

 
hi，jinsong：
 我想说一个问题，我开始了自动推断，比如我设置推断的最大并行度是10，
我有一个类似的sql   select * from  mytable limit 1;
hive表mytable有超过10个文件，如果启动了10个并行度是不是有点浪费呢。
在2020年03月2日 16:38，JingsongLee<[hidden email]> 写道：    建议使用Batch模式来读取Hive table。

Best,
Jingsong Lee

------------------------------------------------------------------
From:like <[hidden email]>
Send Time:2020年3月2日(星期一) 16:35
To:[hidden email] <[hidden email]>
Subject:回复：使用Flink1.10.0读取hive时source并行度问题

我使用的是 StreamTableEnvironment，确实有碰到这个问题呢。
在2020年3月2日 16:16，JingsongLee<[hidden email]> 写道：  
 自动推断可能面临资源不足无法启动的问题

理论上不应该呀？Batch作业是可以部分运行的。

Best,
Jingsong Lee

------------------------------------------------------------------
From:like <[hidden email]>
Send Time:2020年3月2日(星期一) 15:35
To:[hidden email] <[hidden email]>; [hidden email] <[hidden email]>
Subject:回复：使用Flink1.10.0读取hive时source并行度问题

非常感谢！我尝试关闭自动推断后，已经可以控制source并行度了，自动推断可能面临资源不足无法启动的问题。

在2020年3月2日 15:18，JingsongLee<[hidden email]> 写道：   Hi,

1.10中，Hive source是自动推断并发的，你可以使用以下参数配置到flink-conf.yaml里面来控制并发：
- table.exec.hive.infer-source-parallelism=true (默认使用自动推断)
- table.exec.hive.infer-source-parallelism.max=1000 (自动推断的最大并发)

Sink的并发默认和上游的并发相同，如果有Shuffle，使用配置的统一并发。

Best,
Jingsong Lee

------------------------------------------------------------------
From:like <[hidden email]>
Send Time:2020年3月2日(星期一) 14:58
To:[hidden email] <[hidden email]>
Subject:使用Flink1.10.0读取hive时source并行度问题

hi，大家好

 我使用flink1.10.0读取hive表，启动时设置了全局的并行度，但是在读取的时候，发现sink并行度是受约束的，
而source的并行度不受此约束，会根据source的大小改变，大的时候并行度大到1000，请问一下怎么处理这个并行度呢？     

Bowen Li

Re: 使用Flink1.10.0读取hive时source并行度问题

@JingsongLee <[hidden email]> 把当前的hive sink并发度配置策略加到文档里吧
https://issues.apache.org/jira/browse/FLINK-16448

On Tue, Mar 3, 2020 at 9:31 PM Jun Zhang <[hidden email]> wrote:

>
> 嗯嗯，其实我觉得我写的这个示例sql应该是一个使用很广泛的sql，我新建了hive表，并且导入了数据之后，一般都会使用类似的sql来验证一下表建的对不对，数据是否正确。
>
>
>
>
>
>
> 在2020年03月4日 13:25，JingsongLee<[hidden email]> 写道：
>
> Hi jun,
>
>
> Jira: https://issues.apache.org/jira/browse/FLINK-16413
> FYI
>
>
> Best,
> Jingsong Lee
>
>
> ------------------------------------------------------------------
> From:JingsongLee <[hidden email]>
> Send Time:2020年3月3日(星期二) 19:06
> To:Jun Zhang <[hidden email]>; [hidden email] <
> [hidden email]>
> Cc:[hidden email] <[hidden email]>; like <
> [hidden email]>
> Subject:Re: 使用Flink1.10.0读取hive时source并行度问题
>
>
> Hi jun,
>
> 很好的建议~ 这是一个优化点~ 可以建一个JIRA
>
> Best,
> Jingsong Lee
>
>
> ------------------------------------------------------------------
> From:Jun Zhang <[hidden email]>
> Send Time:2020年3月3日(星期二) 18:45
> To:[hidden email] <[hidden email]>; JingsongLee <
> [hidden email]>
> Cc:[hidden email] <[hidden email]>; like <
> [hidden email]>
> Subject:回复：使用Flink1.10.0读取hive时source并行度问题
>
>
>  
> hi，jinsong：
>  我想说一个问题，我开始了自动推断，比如我设置推断的最大并行度是10，
> 我有一个类似的sql   select * from  mytable limit 1;
> hive表mytable有超过10个文件，如果启动了10个并行度是不是有点浪费呢。
> 在2020年03月2日 16:38，JingsongLee<[hidden email]>
> 写道：    建议使用Batch模式来读取Hive table。
>
> Best,
> Jingsong Lee
>
>
> ------------------------------------------------------------------
> From:like <[hidden email]>
> Send Time:2020年3月2日(星期一) 16:35
> To:[hidden email] <[hidden email]>
> Subject:回复：使用Flink1.10.0读取hive时source并行度问题
>
>
> 我使用的是 StreamTableEnvironment，确实有碰到这个问题呢。
> 在2020年3月2日 16:16，JingsongLee<[hidden email]> 写道：  
>  自动推断可能面临资源不足无法启动的问题
>
> 理论上不应该呀？Batch作业是可以部分运行的。
>
> Best,
> Jingsong Lee
>
> ------------------------------------------------------------------
> From:like <[hidden email]>
> Send Time:2020年3月2日(星期一) 15:35
> To:[hidden email] <[hidden email]>;
> [hidden email] <[hidden email]>
> Subject:回复：使用Flink1.10.0读取hive时source并行度问题
>
>
> 非常感谢！我尝试关闭自动推断后，已经可以控制source并行度了，自动推断可能面临资源不足无法启动的问题。
>
>
> 在2020年3月2日 15:18，JingsongLee<[hidden email]>
> 写道：   Hi,
>
> 1.10中，Hive source是自动推断并发的，你可以使用以下参数配置到flink-conf.yaml里面来控制并发：
> - table.exec.hive.infer-source-parallelism=true (默认使用自动推断)
> - table.exec.hive.infer-source-parallelism.max=1000 (自动推断的最大并发)
>
> Sink的并发默认和上游的并发相同，如果有Shuffle，使用配置的统一并发。
>
> Best,
> Jingsong Lee
>
>
> ------------------------------------------------------------------
> From:like <[hidden email]>
> Send Time:2020年3月2日(星期一) 14:58
> To:[hidden email] <[hidden email]>
> Subject:使用Flink1.10.0读取hive时source并行度问题
>
> hi，大家好
>
>  我使用flink1.10.0读取hive表，启动时设置了全局的并行度，但是在读取的时候，发现sink并行度是受约束的，
>
> 而source的并行度不受此约束，会根据source的大小改变，大的时候并行度大到1000，请问一下怎么处理这个并行度呢？     

回复： 使用Flink1.10.0读取hive时source并行度问题

回复： 使用Flink1.10.0读取hive时source并行度问题

Re: 使用Flink1.10.0读取hive时source并行度问题

回复：使用Flink1.10.0读取hive时source并行度问题

回复：使用Flink1.10.0读取hive时source并行度问题