Re: (无主题)

[Jingsong Li]

Hi,

- 是否是计算规模的问题？
集群大小合适吗？并发合适吗？

- 是否是Plan不优的问题？
Hive的表有做Analysis吗？

CC: user

Best,
Jingsong Lee

On Thu, Mar 26, 2020 at 8:27 PM 被惊艳的时光 <[hidden email]> wrote:

>
> hello，你好，有个关于flink-sql-benchmark工具的问题需要请教下，在做tpc-ds测试时，当数据量达到4T时(flink版本1.10)，q43,q67,q70这三条sql执行出错了，都是在hashjoin的时候失败啦，报错信息是hashjoin迭代的次数过多，不知道之前你们在测试时有没有出现这种情况
>


--
Best, Jingsong Lee

[被惊艳的时光]

并发是200和400两种，集群有270多个节点，不过可用的vcores是6600多，内存是17T左右，看了执行图q43这个存在数据倾斜的的问题，失败的节点存在数据量偏大的情况



---原始邮件---
发件人: "Jingsong Li"<[hidden email]&gt;
发送时间: 2020年3月27日(周五) 上午10:20
收件人: "被惊艳的时光"<[hidden email]&gt;;
抄送: "user-zh"<[hidden email]&gt;;"lirui"<[hidden email]&gt;;
主题: Re: (无主题)


Hi,

- 是否是计算规模的问题？
集群大小合适吗？并发合适吗？

- 是否是Plan不优的问题？
Hive的表有做Analysis吗？

CC: user

Best,
Jingsong Lee

On Thu, Mar 26, 2020 at 8:27 PM 被惊艳的时光 <[hidden email]&gt; wrote:

&gt;
&gt; hello，你好，有个关于flink-sql-benchmark工具的问题需要请教下，在做tpc-ds测试时，当数据量达到4T时(flink版本1.10)，q43,q67,q70这三条sql执行出错了，都是在hashjoin的时候失败啦，报错信息是hashjoin迭代的次数过多，不知道之前你们在测试时有没有出现这种情况
&gt;


--
Best, Jingsong Lee