异步io请求hbase,hbase获取数据环节背压高成为瓶颈问题

classic Classic list List threaded Threaded
5 messages Options
Reply | Threaded
Open this post in threaded view
|

异步io请求hbase,hbase获取数据环节背压高成为瓶颈问题

1101300123
您好:
    采用异步io的方式从hbase获取信息,发现hbase上游背压很高。有没有什么建议或者好的方式!谢谢!
    flink1.10.0



[hidden email]
Reply | Threaded
Open this post in threaded view
|

Re: 异步io请求hbase,hbase获取数据环节背压高成为瓶颈问题

Benchao Li-2
感觉像这种IO Bound的场景,一种是可以尝试攒个小batch去请求;一种是加一个cache来降低请求的数量。
要不然就是优化提升外部系统的吞吐。

[hidden email] <[hidden email]> 于2020年6月16日周二 下午5:35写道:

> 您好:
>     采用异步io的方式从hbase获取信息,发现hbase上游背压很高。有没有什么建议或者好的方式!谢谢!
>     flink1.10.0
>
>
>
> [hidden email]
>
Reply | Threaded
Open this post in threaded view
|

Re: Re: 异步io请求hbase,hbase获取数据环节背压高成为瓶颈问题

1101300123
目前使用guava的cache做了缓存但是效果不是很好



[hidden email]
 
发件人: Benchao Li
发送时间: 2020-06-16 17:40
收件人: user-zh
主题: Re: 异步io请求hbase,hbase获取数据环节背压高成为瓶颈问题
感觉像这种IO Bound的场景,一种是可以尝试攒个小batch去请求;一种是加一个cache来降低请求的数量。
要不然就是优化提升外部系统的吞吐。
 
[hidden email] <[hidden email]> 于2020年6月16日周二 下午5:35写道:
 
> 您好:
>     采用异步io的方式从hbase获取信息,发现hbase上游背压很高。有没有什么建议或者好的方式!谢谢!
>     flink1.10.0
>
>
>
> [hidden email]
>
Reply | Threaded
Open this post in threaded view
|

Re: Re: 异步io请求hbase,hbase获取数据环节背压高成为瓶颈问题

Benchao Li-2
是否有观察过缓存命中率呢,如果缓存命中率不高,性能也不会太好的。

[hidden email] <[hidden email]> 于2020年6月16日周二 下午6:29写道:

> 目前使用guava的cache做了缓存但是效果不是很好
>
>
>
> [hidden email]
>
> 发件人: Benchao Li
> 发送时间: 2020-06-16 17:40
> 收件人: user-zh
> 主题: Re: 异步io请求hbase,hbase获取数据环节背压高成为瓶颈问题
> 感觉像这种IO Bound的场景,一种是可以尝试攒个小batch去请求;一种是加一个cache来降低请求的数量。
> 要不然就是优化提升外部系统的吞吐。
>
> [hidden email] <[hidden email]> 于2020年6月16日周二 下午5:35写道:
>
> > 您好:
> >     采用异步io的方式从hbase获取信息,发现hbase上游背压很高。有没有什么建议或者好的方式!谢谢!
> >     flink1.10.0
> >
> >
> >
> > [hidden email]
> >
>
Reply | Threaded
Open this post in threaded view
|

回复:异步io请求hbase,hbase获取数据环节背压高成为瓶颈问题

Yichao Yang
Hi


使用到缓存的话大多数情况下都要用到keyby,并且在keyby之后的算子使用缓存,保证相同key只会访问一个缓存,否则缓存命中率一般情况下都会很低。


Best,
Yichao Yang



发自我的iPhone


------------------ 原始邮件 ------------------
发件人: Benchao Li <[hidden email]&gt;
发送时间: 2020年6月16日 18:53
收件人: user-zh <[hidden email]&gt;
主题: 回复:异步io请求hbase,hbase获取数据环节背压高成为瓶颈问题



是否有观察过缓存命中率呢,如果缓存命中率不高,性能也不会太好的。

[hidden email] <[hidden email]&gt; 于2020年6月16日周二 下午6:29写道:

&gt; 目前使用guava的cache做了缓存但是效果不是很好
&gt;
&gt;
&gt;
&gt; [hidden email]
&gt;
&gt; 发件人: Benchao Li
&gt; 发送时间: 2020-06-16 17:40
&gt; 收件人: user-zh
&gt; 主题: Re: 异步io请求hbase,hbase获取数据环节背压高成为瓶颈问题
&gt; 感觉像这种IO Bound的场景,一种是可以尝试攒个小batch去请求;一种是加一个cache来降低请求的数量。
&gt; 要不然就是优化提升外部系统的吞吐。
&gt;
&gt; [hidden email] <[hidden email]&gt; 于2020年6月16日周二 下午5:35写道:
&gt;
&gt; &gt; 您好:
&gt; &gt;&nbsp;&nbsp;&nbsp;&nbsp; 采用异步io的方式从hbase获取信息,发现hbase上游背压很高。有没有什么建议或者好的方式!谢谢!
&gt; &gt;&nbsp;&nbsp;&nbsp;&nbsp; flink1.10.0
&gt; &gt;
&gt; &gt;
&gt; &gt;
&gt; &gt; [hidden email]
&gt; &gt;
&gt;