Support LRU cache in JDBCLookupFunction

[tao siyuan]

HI all：

目前，一些情况下会遇到到流及外部维表Join。而使用JDBCLookupFunction只支持cache固定大小和条数，但是通常，我们可以使用cache
LRU 策略 提高cache使用率以及reduce数据库的交互次数。

请问这是一个值得提交的issue吗？

[Jark]

Hi，

目前 jdbc lookup 就是用的 LRU cache。 你是希望 cache 大小能动态调整？

> 2020年4月27日 15:24，tao siyuan <[hidden email]> 写道：
>
> HI all：
>
> 目前，一些情况下会遇到到流及外部维表Join。而使用JDBCLookupFunction只支持cache固定大小和条数，但是通常，我们可以使用cache
> LRU 策略 提高cache使用率以及reduce数据库的交互次数。
>
> 请问这是一个值得提交的issue吗？

[tao siyuan]

hi，

不好意思，我忽略了内部使用的Guava cache，

我这里可以提2个意见吗：
1，增加统计缓存命中情况
2，增加异步交互模式

Jark Wu <[hidden email]> 于2020年4月27日周一 下午3:31写道：

> Hi，
>
> 目前 jdbc lookup 就是用的 LRU cache。 你是希望 cache 大小能动态调整？
>
> > 2020年4月27日 15:24，tao siyuan <[hidden email]> 写道：
> >
> > HI all：
> >
> >
> 目前，一些情况下会遇到到流及外部维表Join。而使用JDBCLookupFunction只支持cache固定大小和条数，但是通常，我们可以使用cache
> > LRU 策略 提高cache使用率以及reduce数据库的交互次数。
> >
> > 请问这是一个值得提交的issue吗？
>
>

[Benchao Li]

Hi,

第一个意见现在已经有了一个issue[1]和pr，可以参考一下。
第二个意见据我所知是有异步维表的接口和实现，但是connector还没有实现。

[1] https://issues.apache.org/jira/browse/FLINK-16038

tao siyuan <[hidden email]> 于2020年4月27日周一 下午4:00写道：

> hi，
>
> 不好意思，我忽略了内部使用的Guava cache，
>
> 我这里可以提2个意见吗：
> 1，增加统计缓存命中情况
> 2，增加异步交互模式
>
> Jark Wu <[hidden email]> 于2020年4月27日周一 下午3:31写道：
>
> > Hi，
> >
> > 目前 jdbc lookup 就是用的 LRU cache。 你是希望 cache 大小能动态调整？
> >
> > > 2020年4月27日 15:24，tao siyuan <[hidden email]> 写道：
> > >
> > > HI all：
> > >
> > >
> >
> 目前，一些情况下会遇到到流及外部维表Join。而使用JDBCLookupFunction只支持cache固定大小和条数，但是通常，我们可以使用cache
> > > LRU 策略 提高cache使用率以及reduce数据库的交互次数。
> > >
> > > 请问这是一个值得提交的issue吗？
> >
> >
>

--

Benchao Li
School of Electronics Engineering and Computer Science, Peking University
Tel:[phone]
Email: [hidden email]; [hidden email]

[tao siyuan]

谢谢，

我能否为第二个意见提交一个issue，为connector增加一个JDBCLookupFunction的异步接口

Benchao Li <[hidden email]> 于2020年4月27日周一 下午4:11写道：

> Hi,
>
> 第一个意见现在已经有了一个issue[1]和pr，可以参考一下。
> 第二个意见据我所知是有异步维表的接口和实现，但是connector还没有实现。
>
> [1] https://issues.apache.org/jira/browse/FLINK-16038
>
> tao siyuan <[hidden email]> 于2020年4月27日周一 下午4:00写道：
>
> > hi，
> >
> > 不好意思，我忽略了内部使用的Guava cache，
> >
> > 我这里可以提2个意见吗：
> > 1，增加统计缓存命中情况
> > 2，增加异步交互模式
> >
> > Jark Wu <[hidden email]> 于2020年4月27日周一 下午3:31写道：
> >
> > > Hi，
> > >
> > > 目前 jdbc lookup 就是用的 LRU cache。 你是希望 cache 大小能动态调整？
> > >
> > > > 2020年4月27日 15:24，tao siyuan <[hidden email]> 写道：
> > > >
> > > > HI all：
> > > >
> > > >
> > >
> >
> 目前，一些情况下会遇到到流及外部维表Join。而使用JDBCLookupFunction只支持cache固定大小和条数，但是通常，我们可以使用cache
> > > > LRU 策略 提高cache使用率以及reduce数据库的交互次数。
> > > >
> > > > 请问这是一个值得提交的issue吗？
> > >
> > >
> >
>
>
> --
>
> Benchao Li
> School of Electronics Engineering and Computer Science, Peking University
> Tel:[phone]
> Email: [hidden email]; [hidden email]
>

[Benchao Li]

我觉得是可以的。

tao siyuan <[hidden email]> 于2020年4月27日周一 下午4:24写道：

> 谢谢，
>
> 我能否为第二个意见提交一个issue，为connector增加一个JDBCLookupFunction的异步接口
>
> Benchao Li <[hidden email]> 于2020年4月27日周一 下午4:11写道：
>
> > Hi,
> >
> > 第一个意见现在已经有了一个issue[1]和pr，可以参考一下。
> > 第二个意见据我所知是有异步维表的接口和实现，但是connector还没有实现。
> >
> > [1] https://issues.apache.org/jira/browse/FLINK-16038
> >
> > tao siyuan <[hidden email]> 于2020年4月27日周一 下午4:00写道：
> >
> > > hi，
> > >
> > > 不好意思，我忽略了内部使用的Guava cache，
> > >
> > > 我这里可以提2个意见吗：
> > > 1，增加统计缓存命中情况
> > > 2，增加异步交互模式
> > >
> > > Jark Wu <[hidden email]> 于2020年4月27日周一 下午3:31写道：
> > >
> > > > Hi，
> > > >
> > > > 目前 jdbc lookup 就是用的 LRU cache。 你是希望 cache 大小能动态调整？
> > > >
> > > > > 2020年4月27日 15:24，tao siyuan <[hidden email]> 写道：
> > > > >
> > > > > HI all：
> > > > >
> > > > >
> > > >
> > >
> >
> 目前，一些情况下会遇到到流及外部维表Join。而使用JDBCLookupFunction只支持cache固定大小和条数，但是通常，我们可以使用cache
> > > > > LRU 策略 提高cache使用率以及reduce数据库的交互次数。
> > > > >
> > > > > 请问这是一个值得提交的issue吗？
> > > >
> > > >
> > >
> >
> >
> > --
> >
> > Benchao Li
> > School of Electronics Engineering and Computer Science, Peking University
> > Tel:[phone]
> > Email: [hidden email]; [hidden email]
> >
>

--

Benchao Li
School of Electronics Engineering and Computer Science, Peking University
Tel:[phone]
Email: [hidden email]; [hidden email]

[tao siyuan]

好的，谢谢

Benchao Li <[hidden email]> 于2020年4月27日周一 下午5:00写道：

> 我觉得是可以的。
>
> tao siyuan <[hidden email]> 于2020年4月27日周一 下午4:24写道：
>
> > 谢谢，
> >
> > 我能否为第二个意见提交一个issue，为connector增加一个JDBCLookupFunction的异步接口
> >
> > Benchao Li <[hidden email]> 于2020年4月27日周一 下午4:11写道：
> >
> > > Hi,
> > >
> > > 第一个意见现在已经有了一个issue[1]和pr，可以参考一下。
> > > 第二个意见据我所知是有异步维表的接口和实现，但是connector还没有实现。
> > >
> > > [1] https://issues.apache.org/jira/browse/FLINK-16038
> > >
> > > tao siyuan <[hidden email]> 于2020年4月27日周一 下午4:00写道：
> > >
> > > > hi，
> > > >
> > > > 不好意思，我忽略了内部使用的Guava cache，
> > > >
> > > > 我这里可以提2个意见吗：
> > > > 1，增加统计缓存命中情况
> > > > 2，增加异步交互模式
> > > >
> > > > Jark Wu <[hidden email]> 于2020年4月27日周一 下午3:31写道：
> > > >
> > > > > Hi，
> > > > >
> > > > > 目前 jdbc lookup 就是用的 LRU cache。 你是希望 cache 大小能动态调整？
> > > > >
> > > > > > 2020年4月27日 15:24，tao siyuan <[hidden email]> 写道：
> > > > > >
> > > > > > HI all：
> > > > > >
> > > > > >
> > > > >
> > > >
> > >
> >
> 目前，一些情况下会遇到到流及外部维表Join。而使用JDBCLookupFunction只支持cache固定大小和条数，但是通常，我们可以使用cache
> > > > > > LRU 策略 提高cache使用率以及reduce数据库的交互次数。
> > > > > >
> > > > > > 请问这是一个值得提交的issue吗？
> > > > >
> > > > >
> > > >
> > >
> > >
> > > --
> > >
> > > Benchao Li
> > > School of Electronics Engineering and Computer Science, Peking
> University
> > > Tel:[phone]
> > > Email: [hidden email]; [hidden email]
> > >
> >
>
>
> --
>
> Benchao Li
> School of Electronics Engineering and Computer Science, Peking University
> Tel:[phone]
> Email: [hidden email]; [hidden email]
>

[Jark]

FYI

1. 增加统计缓存命中情况: https://issues.apache.org/jira/browse/FLINK-16038
2. 增加异步交互模式: https://issues.apache.org/jira/browse/FLINK-14902


On Mon, 27 Apr 2020 at 17:01, tao siyuan <[hidden email]> wrote:

> 好的，谢谢
>
> Benchao Li <[hidden email]> 于2020年4月27日周一 下午5:00写道：
>
> > 我觉得是可以的。
> >
> > tao siyuan <[hidden email]> 于2020年4月27日周一 下午4:24写道：
> >
> > > 谢谢，
> > >
> > > 我能否为第二个意见提交一个issue，为connector增加一个JDBCLookupFunction的异步接口
> > >
> > > Benchao Li <[hidden email]> 于2020年4月27日周一 下午4:11写道：
> > >
> > > > Hi,
> > > >
> > > > 第一个意见现在已经有了一个issue[1]和pr，可以参考一下。
> > > > 第二个意见据我所知是有异步维表的接口和实现，但是connector还没有实现。
> > > >
> > > > [1] https://issues.apache.org/jira/browse/FLINK-16038
> > > >
> > > > tao siyuan <[hidden email]> 于2020年4月27日周一 下午4:00写道：
> > > >
> > > > > hi，
> > > > >
> > > > > 不好意思，我忽略了内部使用的Guava cache，
> > > > >
> > > > > 我这里可以提2个意见吗：
> > > > > 1，增加统计缓存命中情况
> > > > > 2，增加异步交互模式
> > > > >
> > > > > Jark Wu <[hidden email]> 于2020年4月27日周一 下午3:31写道：
> > > > >
> > > > > > Hi，
> > > > > >
> > > > > > 目前 jdbc lookup 就是用的 LRU cache。 你是希望 cache 大小能动态调整？
> > > > > >
> > > > > > > 2020年4月27日 15:24，tao siyuan <[hidden email]> 写道：
> > > > > > >
> > > > > > > HI all：
> > > > > > >
> > > > > > >
> > > > > >
> > > > >
> > > >
> > >
> >
> 目前，一些情况下会遇到到流及外部维表Join。而使用JDBCLookupFunction只支持cache固定大小和条数，但是通常，我们可以使用cache
> > > > > > > LRU 策略 提高cache使用率以及reduce数据库的交互次数。
> > > > > > >
> > > > > > > 请问这是一个值得提交的issue吗？
> > > > > >
> > > > > >
> > > > >
> > > >
> > > >
> > > > --
> > > >
> > > > Benchao Li
> > > > School of Electronics Engineering and Computer Science, Peking
> > University
> > > > Tel:[phone]
> > > > Email: [hidden email]; [hidden email]
> > > >
> > >
> >
> >
> > --
> >
> > Benchao Li
> > School of Electronics Engineering and Computer Science, Peking University
> > Tel:[phone]
> > Email: [hidden email]; [hidden email]
> >
>

[tao siyuan]

谢谢。

Jark Wu <[hidden email]> 于2020年4月28日周二 上午11:00写道：

> FYI
>
> 1. 增加统计缓存命中情况: https://issues.apache.org/jira/browse/FLINK-16038
> 2. 增加异步交互模式: https://issues.apache.org/jira/browse/FLINK-14902
>
>
> On Mon, 27 Apr 2020 at 17:01, tao siyuan <[hidden email]> wrote:
>
> > 好的，谢谢
> >
> > Benchao Li <[hidden email]> 于2020年4月27日周一 下午5:00写道：
> >
> > > 我觉得是可以的。
> > >
> > > tao siyuan <[hidden email]> 于2020年4月27日周一 下午4:24写道：
> > >
> > > > 谢谢，
> > > >
> > > > 我能否为第二个意见提交一个issue，为connector增加一个JDBCLookupFunction的异步接口
> > > >
> > > > Benchao Li <[hidden email]> 于2020年4月27日周一 下午4:11写道：
> > > >
> > > > > Hi,
> > > > >
> > > > > 第一个意见现在已经有了一个issue[1]和pr，可以参考一下。
> > > > > 第二个意见据我所知是有异步维表的接口和实现，但是connector还没有实现。
> > > > >
> > > > > [1] https://issues.apache.org/jira/browse/FLINK-16038
> > > > >
> > > > > tao siyuan <[hidden email]> 于2020年4月27日周一 下午4:00写道：
> > > > >
> > > > > > hi，
> > > > > >
> > > > > > 不好意思，我忽略了内部使用的Guava cache，
> > > > > >
> > > > > > 我这里可以提2个意见吗：
> > > > > > 1，增加统计缓存命中情况
> > > > > > 2，增加异步交互模式
> > > > > >
> > > > > > Jark Wu <[hidden email]> 于2020年4月27日周一 下午3:31写道：
> > > > > >
> > > > > > > Hi，
> > > > > > >
> > > > > > > 目前 jdbc lookup 就是用的 LRU cache。 你是希望 cache 大小能动态调整？
> > > > > > >
> > > > > > > > 2020年4月27日 15:24，tao siyuan <[hidden email]> 写道：
> > > > > > > >
> > > > > > > > HI all：
> > > > > > > >
> > > > > > > >
> > > > > > >
> > > > > >
> > > > >
> > > >
> > >
> >
> 目前，一些情况下会遇到到流及外部维表Join。而使用JDBCLookupFunction只支持cache固定大小和条数，但是通常，我们可以使用cache
> > > > > > > > LRU 策略 提高cache使用率以及reduce数据库的交互次数。
> > > > > > > >
> > > > > > > > 请问这是一个值得提交的issue吗？
> > > > > > >
> > > > > > >
> > > > > >
> > > > >
> > > > >
> > > > > --
> > > > >
> > > > > Benchao Li
> > > > > School of Electronics Engineering and Computer Science, Peking
> > > University
> > > > > Tel:[phone]
> > > > > Email: [hidden email]; [hidden email]
> > > > >
> > > >
> > >
> > >
> > > --
> > >
> > > Benchao Li
> > > School of Electronics Engineering and Computer Science, Peking
> University
> > > Tel:[phone]
> > > Email: [hidden email]; [hidden email]
> > >
> >
>