消息队列量级特别如何优化消费

classic Classic list List threaded Threaded
6 messages Options
Reply | Threaded
Open this post in threaded view
|

消息队列量级特别如何优化消费

allanqinjy


hi,
  由于消息队列量特别大,在flink接入以后被压严重。除了修改并行度以外还有没有其他的优化方案!!!


| |
allanqinjy
|
|
[hidden email]
|
签名由网易邮箱大师定制

Reply | Threaded
Open this post in threaded view
|

Re: 消息队列量级特别如何优化消费

liujiangang
本质原因是作业资源不足无法处理大量数据,好像只有扩大并发来解决了。


allanqinjy <[hidden email]> 于2021年3月5日周五 上午10:48写道:

>
>
> hi,
>   由于消息队列量特别大,在flink接入以后被压严重。除了修改并行度以外还有没有其他的优化方案!!!
>
>
> | |
> allanqinjy
> |
> |
> [hidden email]
> |
> 签名由网易邮箱大师定制
>
>
smq
Reply | Threaded
Open this post in threaded view
|

Reply:消息队列量级特别如何优化消费

smq
被压严重一般是sink&nbsp;效率低或者计算过程有瓶颈,被压跟数据源数据多少没什么关系



发自我的iPhone


------------------ 原始邮件 ------------------
From: 刘建刚 <[hidden email]&gt;
发送时间: 03/05/2021, 18:09
To: user-zh <[hidden email]&gt;
Subject: Reply:消息队列量级特别如何优化消费



本质原因是作业资源不足无法处理大量数据,好像只有扩大并发来解决了。


allanqinjy <[hidden email]&gt; 于2021年3月5日周五 上午10:48写道:

&gt;
&gt;
&gt; hi,
&gt;&nbsp;&nbsp; 由于消息队列量特别大,在flink接入以后被压严重。除了修改并行度以外还有没有其他的优化方案!!!
&gt;
&gt;
&gt; | |
&gt; allanqinjy
&gt; |
&gt; |
&gt; [hidden email]
&gt; |
&gt; 签名由网易邮箱大师定制
&gt;
&gt;
smq
Reply | Threaded
Open this post in threaded view
|

回复:消息队列量级特别如何优化消费

smq
In reply to this post by liujiangang
被压严重一般是sink&nbsp;效率低或者计算过程有瓶颈,被压跟数据源数据多少没什么关系。你可以在web&nbsp;界面查看哪个算子导致的,然后优化就可以了



发自我的iPhone


------------------ 原始邮件 ------------------
发件人: 刘建刚 <[hidden email]&gt;
发送时间: 2021年3月5日 18:09
收件人: user-zh <[hidden email]&gt;
主题: 回复:消息队列量级特别如何优化消费



本质原因是作业资源不足无法处理大量数据,好像只有扩大并发来解决了。


allanqinjy <[hidden email]&gt; 于2021年3月5日周五 上午10:48写道:

&gt;
&gt;
&gt; hi,
&gt;&nbsp;&nbsp; 由于消息队列量特别大,在flink接入以后被压严重。除了修改并行度以外还有没有其他的优化方案!!!
&gt;
&gt;
&gt; | |
&gt; allanqinjy
&gt; |
&gt; |
&gt; [hidden email]
&gt; |
&gt; 签名由网易邮箱大师定制
&gt;
&gt;
smq
Reply | Threaded
Open this post in threaded view
|

回复:消息队列量级特别如何优化消费

smq
In reply to this post by liujiangang
被压严重一般是sink&nbsp;效率低或者计算过程有瓶颈,被压跟数据源数据多少没什么关系。你可以在web&nbsp;界面查看哪个算子导致的,然后优化就可以了



发自我的iPhone


------------------ 原始邮件 ------------------
发件人: 刘建刚 <[hidden email]&gt;
发送时间: 2021年3月5日 18:09
收件人: user-zh <[hidden email]&gt;
主题: 回复:消息队列量级特别如何优化消费



本质原因是作业资源不足无法处理大量数据,好像只有扩大并发来解决了。


allanqinjy <[hidden email]&gt; 于2021年3月5日周五 上午10:48写道:

&gt;
&gt;
&gt; hi,
&gt;&nbsp;&nbsp; 由于消息队列量特别大,在flink接入以后被压严重。除了修改并行度以外还有没有其他的优化方案!!!
&gt;
&gt;
&gt; | |
&gt; allanqinjy
&gt; |
&gt; |
&gt; [hidden email]
&gt; |
&gt; 签名由网易邮箱大师定制
&gt;
&gt;
Reply | Threaded
Open this post in threaded view
|

回复:消息队列量级特别如何优化消费

allanqinjy
感谢各位的回答


| |
allanqinjy
|
|
[hidden email]
|
签名由网易邮箱大师定制


在2021年03月5日 19:23,smq<[hidden email]> 写道:
被压严重一般是sink&nbsp;效率低或者计算过程有瓶颈,被压跟数据源数据多少没什么关系。你可以在web&nbsp;界面查看哪个算子导致的,然后优化就可以了



发自我的iPhone


------------------ 原始邮件 ------------------
发件人: 刘建刚 <[hidden email]&gt;
发送时间: 2021年3月5日 18:09
收件人: user-zh <[hidden email]&gt;
主题: 回复:消息队列量级特别如何优化消费



本质原因是作业资源不足无法处理大量数据,好像只有扩大并发来解决了。


allanqinjy <[hidden email]&gt; 于2021年3月5日周五 上午10:48写道:

&gt;
&gt;
&gt; hi,
&gt;&nbsp;&nbsp; 由于消息队列量特别大,在flink接入以后被压严重。除了修改并行度以外还有没有其他的优化方案!!!
&gt;
&gt;
&gt; | |
&gt; allanqinjy
&gt; |
&gt; |
&gt; [hidden email]
&gt; |
&gt; 签名由网易邮箱大师定制
&gt;
&gt;