Flink 1.10执行tpc-ds求助

classic Classic list List threaded Threaded
2 messages Options
Reply | Threaded
Open this post in threaded view
|

Flink 1.10执行tpc-ds求助

faaron zheng
我用的是之前flink tpc-ds性能优化比赛的代码来执行tpc-ds, flink版本是1.10。简单的修改了一下flink源码中ParquetTableSource的构造函数,支持传递TableSchema。但是在运行query1的时候报了如下的错,在校验数据源的时候decimal精度和范围不一致导致,而数据本生的格式就是Decimal(7,2)。请问这个校验是必须的么?我是应该在哪里转换么?  



Reply | Threaded
Open this post in threaded view
|

Re: Flink 1.10执行tpc-ds求助

Leonard Xu
 faaronzheng,你好
tpc-ds比赛的代码是基于flink-1.9的,是为比赛建立的临时分支,不推荐使用,推荐使用最新flink-1.10。
据我所知,JingsongLi 发起了一个项目 https://github.com/ververica/flink-sql-benchmark <https://github.com/ververica/flink-sql-benchmark>,专门用于tpc-ds的benchmark, 是基于flink 1.10的, 你可以参考。

BTW, 今天晚上,JingsongLi 今天会有关于这个的直播,可以关注一下

CC:JingsongLi

Best,
Leonard Xu



> 在 2020年2月18日,11:02,faaron zheng <[hidden email]> 写道:
>
> 我用的是之前flink tpc-ds性能优化比赛的代码来执行tpc-ds, flink版本是1.10。简单的修改了一下flink源码中ParquetTableSource的构造函数,支持传递TableSchema。但是在运行query1的时候报了如下的错,在校验数据源的时候decimal精度和范围不一致导致,而数据本生的格式就是Decimal(7,2)。请问这个校验是必须的么?我是应该在哪里转换么?  
>
>
>