Blink的Batch模式的并行度问题

[jun su]

hi all,

Flink 目前的blink table planner batch mode
(读hdfs上的orc文件)只支持StreamTableSource和LookupableTableSource，
但是StreamTableSource的并行度默认应该是1 ， 底层是ContinuousFileMonitoringFunction ,
那么如何能扩大并行度来优化性能呢？

--
Best,
Jun Su

[Caizhi Weng]

Hi，

可以配置 table.exec.resource.default-parallelism 为需要的并发。详见文档[1]

[1]
https://ci.apache.org/projects/flink/flink-docs-release-1.11/dev/table/config.html#table-exec-resource-default-parallelism

jun su <[hidden email]> 于2020年7月27日周一 下午3:50写道：

> hi all,
>
> Flink 目前的blink table planner batch mode
> (读hdfs上的orc文件)只支持StreamTableSource和LookupableTableSource，
> 但是StreamTableSource的并行度默认应该是1 ， 底层是ContinuousFileMonitoringFunction ,
> 那么如何能扩大并行度来优化性能呢？
>
> --
> Best,
> Jun Su
>

[jun su]

hi,

如果底层是FileInputFormat ，默认就是1个并行度, 这个参数我尝试了并不起作用，
看代码是创建了一个SingleOutputStreamOperator ， 感觉得重写下我使用的OrcInputFormat ,
让他不继承FileInputFormat ， 像源码里的HiveInputFormat一样

Caizhi Weng <[hidden email]> 于2020年7月27日周一 下午5:31写道：

> Hi，
>
> 可以配置 table.exec.resource.default-parallelism 为需要的并发。详见文档[1]
>
> [1]
>
> https://ci.apache.org/projects/flink/flink-docs-release-1.11/dev/table/config.html#table-exec-resource-default-parallelism
>
> jun su <[hidden email]> 于2020年7月27日周一 下午3:50写道：
>
> > hi all,
> >
> > Flink 目前的blink table planner batch mode
> > (读hdfs上的orc文件)只支持StreamTableSource和LookupableTableSource，
> > 但是StreamTableSource的并行度默认应该是1 ， 底层是ContinuousFileMonitoringFunction ,
> > 那么如何能扩大并行度来优化性能呢？
> >
> > --
> > Best,
> > Jun Su
> >
>

--
Best,
Jun Su