flink cpu 利用率

[爱吃鱼]

怎么提高flink cpu利用率。
业务场景，flink batch ，读取大概两个亿数据的文件，然后进行flatmap处理。
flatmap处理出来的数据转换成表，并用sql 对表的数据进行 max(time),min(time),count等处理。
cpu利用率只有140%左右，机器还有很多资源，请问怎么可以提高flink cpu的利用率。

[nobleyd]

加大并行度。

爱吃鱼 <[hidden email]> 于2021年1月5日周二 下午4:18写道：

> 怎么提高flink cpu利用率。
> 业务场景，flink batch ，读取大概两个亿数据的文件，然后进行flatmap处理。
> flatmap处理出来的数据转换成表，并用sql 对表的数据进行 max(time),min(time),count等处理。
> cpu利用率只有140%左右，机器还有很多资源，请问怎么可以提高flink cpu的利用率。

[爱吃鱼]

24核的机器，已经加到了24的并行度了，然后会 24个并行度的cpu利用率加起来也是140%左右

















在 2021-01-05 16:24:30，"赵一旦" <[hidden email]> 写道：
>加大并行度。
>
>爱吃鱼 <[hidden email]> 于2021年1月5日周二 下午4:18写道：
>
>> 怎么提高flink cpu利用率。
>> 业务场景，flink batch ，读取大概两个亿数据的文件，然后进行flatmap处理。
>> flatmap处理出来的数据转换成表，并用sql 对表的数据进行 max(time),min(time),count等处理。
>> cpu利用率只有140%左右，机器还有很多资源，请问怎么可以提高flink cpu的利用率。

[爱吃鱼]

24核的机器，已经加到了24的并行度了，然后会 24个并行度的cpu利用率加起来也是140%左右

















在 2021-01-05 16:24:30，"赵一旦" <[hidden email]> 写道：
>加大并行度。
>
>爱吃鱼 <[hidden email]> 于2021年1月5日周二 下午4:18写道：
>
>> 怎么提高flink cpu利用率。
>> 业务场景，flink batch ，读取大概两个亿数据的文件，然后进行flatmap处理。
>> flatmap处理出来的数据转换成表，并用sql 对表的数据进行 max(time),min(time),count等处理。
>> cpu利用率只有140%左右，机器还有很多资源，请问怎么可以提高flink cpu的利用率。





 

[爱吃鱼]

在2021年01月05日 16:37，爱吃鱼 写道：

24核的机器，已经加到了24的并行度了，然后会 24个并行度的cpu利用率加起来也是140%左右

















在 2021-01-05 16:24:30，"赵一旦" <[hidden email]> 写道：
>加大并行度。
>
>爱吃鱼 <[hidden email]> 于2021年1月5日周二 下午4:18写道：
>
>> 怎么提高flink cpu利用率。
>> 业务场景，flink batch ，读取大概两个亿数据的文件，然后进行flatmap处理。
>> flatmap处理出来的数据转换成表，并用sql 对表的数据进行 max(time),min(time),count等处理。
>> cpu利用率只有140%左右，机器还有很多资源，请问怎么可以提高flink cpu的利用率。





 





 

[nobleyd]

不纠结几核。如果任务结点本身不多的话，可以提一提再，只要network buffer数量够就好。

爱吃鱼 <[hidden email]> 于2021年1月5日周二 下午4:39写道：

> 24核的机器，已经加到了24的并行度了，然后会 24个并行度的cpu利用率加起来也是140%左右
>
>
>
>
>
>
>
>
>
>
>
>
>
>
>
>
>
> 在 2021-01-05 16:24:30，"赵一旦" <[hidden email]> 写道：
> >加大并行度。
> >
> >爱吃鱼 <[hidden email]> 于2021年1月5日周二 下午4:18写道：
> >
> >> 怎么提高flink cpu利用率。
> >> 业务场景，flink batch ，读取大概两个亿数据的文件，然后进行flatmap处理。
> >> flatmap处理出来的数据转换成表，并用sql 对表的数据进行 max(time),min(time),count等处理。
> >> cpu利用率只有140%左右，机器还有很多资源，请问怎么可以提高flink cpu的利用率。
>
>
>
>
>
>

[爱吃鱼]

我在测试的时候12个并行度，16，24都测试了但启任务后的cpu利用率还是 140%左右，不管并行度设置为多少。

















在 2021-01-05 16:49:02，"赵一旦" <[hidden email]> 写道：

>不纠结几核。如果任务结点本身不多的话，可以提一提再，只要network buffer数量够就好。
>
>爱吃鱼 <[hidden email]> 于2021年1月5日周二 下午4:39写道：
>
>> 24核的机器，已经加到了24的并行度了，然后会 24个并行度的cpu利用率加起来也是140%左右
>>
>>
>>
>>
>>
>>
>>
>>
>>
>>
>>
>>
>>
>>
>>
>>
>>
>> 在 2021-01-05 16:24:30，"赵一旦" <[hidden email]> 写道：
>> >加大并行度。
>> >
>> >爱吃鱼 <[hidden email]> 于2021年1月5日周二 下午4:18写道：
>> >
>> >> 怎么提高flink cpu利用率。
>> >> 业务场景，flink batch ，读取大概两个亿数据的文件，然后进行flatmap处理。
>> >> flatmap处理出来的数据转换成表，并用sql 对表的数据进行 max(time),min(time),count等处理。
>> >> cpu利用率只有140%左右，机器还有很多资源，请问怎么可以提高flink cpu的利用率。
>>
>>
>>
>>
>>
>>

[housezhang]

有可能是cpu能够处理得过来，网络io处理不过来了，看看网络使用情况



--
Sent from: http://apache-flink.147419.n8.nabble.com/

[nobleyd]

可以看看是否反压。反压说明并行度还是不够，不反压的话看处理速度是否符合预期。符合预期就不用调了，说明你的任务不复杂，那点cpu占用就够了。如果不符合预期，也没有任何反压，那就是source消费速度太慢。



housezhang <[hidden email]> 于2021年1月5日周二 下午5:44写道：

> 有可能是cpu能够处理得过来，网络io处理不过来了，看看网络使用情况
>
>
>
> --
> Sent from: http://apache-flink.147419.n8.nabble.com/

[LakeShen]

看下 Flink 任务运行,是否是其他机器上的资源先达到瓶颈，而不是 CPU，比如 IO，同时看下你的 flatmap 处理单条记录的时间。
同时也参考上面同学的，是否存在反压，如果 flatmap 逻辑比较复杂，也有这个可能。

Best,
LakeShen

赵一旦 <[hidden email]> 于2021年1月5日周二 下午9:13写道：

>
> 可以看看是否反压。反压说明并行度还是不够，不反压的话看处理速度是否符合预期。符合预期就不用调了，说明你的任务不复杂，那点cpu占用就够了。如果不符合预期，也没有任何反压，那就是source消费速度太慢。
>
>
>
> housezhang <[hidden email]> 于2021年1月5日周二 下午5:44写道：
>
> > 有可能是cpu能够处理得过来，网络io处理不过来了，看看网络使用情况
> >
> >
> >
> > --
> > Sent from: http://apache-flink.147419.n8.nabble.com/
>