Apache Flink 中文用户邮件列表

flink1.11 es connector

Classic

List

Threaded

7 messages Options

Dream-底限

flink1.11 es connector

hi
我们这面想用es做时态表查询，但是flink没有报漏es源连接器，需要自己实现一个，请问大家对es做时态表这件事感觉靠谱吗（ps：之所以不用hbase是因为hbase的rowkey设计以及可能维护的二级索引比较麻烦，但hbase也是一个调研方案）

Jark

Re: flink1.11 es connector

Administrator

目前社区由一个 issue 在跟进 es source ，可以关注一下：
https://issues.apache.org/jira/browse/FLINK-16713
你想要的时态表查询，是想当成维表查询吗（lookup）？

Best,
Jark

On Thu, 6 Aug 2020 at 11:20, Dream-底限 <[hidden email]> wrote:

> hi
>
> 我们这面想用es做时态表查询，但是flink没有报漏es源连接器，需要自己实现一个，请问大家对es做时态表这件事感觉靠谱吗（ps：之所以不用hbase是因为hbase的rowkey设计以及可能维护的二级索引比较麻烦，但hbase也是一个调研方案）
>

Dream-底限

Re: flink1.11 es connector

hi、
是的，大佬感觉用es做维表靠谱吗，这样就不用维护hbase二级索引了（或者用es存hbase二级索引，hbase存数据，但还是要用es充当一个维度）

Jark Wu <[hidden email]> 于2020年8月7日周五上午12:34写道：

> 目前社区由一个 issue 在跟进 es source ，可以关注一下：
> https://issues.apache.org/jira/browse/FLINK-16713
> 你想要的时态表查询，是想当成维表查询吗（lookup）？
>
> Best,
> Jark
>
> On Thu, 6 Aug 2020 at 11:20, Dream-底限 <[hidden email]> wrote:
>
> > hi
> >
> >
> 我们这面想用es做时态表查询，但是flink没有报漏es源连接器，需要自己实现一个，请问大家对es做时态表这件事感觉靠谱吗（ps：之所以不用hbase是因为hbase的rowkey设计以及可能维护的二级索引比较麻烦，但hbase也是一个调研方案）
> >
>

Jark

Re: flink1.11 es connector

Administrator

对 ES 研究不是很深入。个人觉得是一个实用的场景。

On Fri, 7 Aug 2020 at 09:50, Dream-底限 <[hidden email]> wrote:

> hi、
> 是的，大佬感觉用es做维表靠谱吗，这样就不用维护hbase二级索引了（或者用es存hbase二级索引，hbase存数据，但还是要用es充当一个维度）
>
> Jark Wu <[hidden email]> 于2020年8月7日周五上午12:34写道：
>
> > 目前社区由一个 issue 在跟进 es source ，可以关注一下：
> > https://issues.apache.org/jira/browse/FLINK-16713
> > 你想要的时态表查询，是想当成维表查询吗（lookup）？
> >
> > Best,
> > Jark
> >
> > On Thu, 6 Aug 2020 at 11:20, Dream-底限 <[hidden email]> wrote:
> >
> > > hi
> > >
> > >
> >
> 我们这面想用es做时态表查询，但是flink没有报漏es源连接器，需要自己实现一个，请问大家对es做时态表这件事感觉靠谱吗（ps：之所以不用hbase是因为hbase的rowkey设计以及可能维护的二级索引比较麻烦，但hbase也是一个调研方案）
> > >
> >
>

jacky-cui

回复： flink1.11 es connector

Hi, 我这边现在也用es做报表分析，但是对于你提到的场景我有个点不是很明白。
你们的flink 在其中充当的是什么角色呢，是清洗出维度结果，然后写到es吗？还是？
我是直接做成大宽表，然后用DSL语句去查询这个大宽表，能cover大部分报表需求

祝好
崔黄飞

------------------ 原始邮件 ------------------
发件人: "user-zh" <[hidden email]>;
发送时间: 2020年8月10日(星期一) 中午12:36
收件人: "user-zh"<[hidden email]>;

主题: Re: flink1.11 es connector

对 ES 研究不是很深入。个人觉得是一个实用的场景。

On Fri, 7 Aug 2020 at 09:50, Dream-底限 <[hidden email]> wrote:

> hi、
> 是的，大佬感觉用es做维表靠谱吗，这样就不用维护hbase二级索引了（或者用es存hbase二级索引，hbase存数据，但还是要用es充当一个维度）
>
> Jark Wu <[hidden email]> 于2020年8月7日周五上午12:34写道：
>
> > 目前社区由一个 issue 在跟进 es source ，可以关注一下：
> > https://issues.apache.org/jira/browse/FLINK-16713
> > 你想要的时态表查询，是想当成维表查询吗（lookup）？
> >
> > Best,
> > Jark
> >
> > On Thu, 6 Aug 2020 at 11:20, Dream-底限 <[hidden email]> wrote:
> >
> > > hi
> > >
> > >
> >
> 我们这面想用es做时态表查询，但是flink没有报漏es源连接器，需要自己实现一个，请问大家对es做时态表这件事感觉靠谱吗（ps：之所以不用hbase是因为hbase的rowkey设计以及可能维护的二级索引比较麻烦，但hbase也是一个调研方案）
> > >
> >
>

Dream-底限

Re: flink1.11 es connector

hi
主要做实时特征，历史数据会做一次批量load，然后flink跑实时特征的计算，涉及到一些维度打算用双流关联+流表时态表关联，下游存储hbase/es/jdbc，先前想都用es，不过感觉es不是干这个的。。。。。。

jacky-cui <[hidden email]> 于2020年8月11日周二下午2:33写道：

> Hi, 我这边现在也用es做报表分析，但是对于你提到的场景我有个点不是很明白。
> 你们的flink 在其中充当的是什么角色呢，是清洗出维度结果，然后写到es吗？还是？
> 我是直接做成大宽表，然后用DSL语句去查询这个大宽表，能cover大部分报表需求
>
>
> 祝好
> 崔黄飞
>
>
> ------------------ 原始邮件 ------------------
> 发件人:
> "user-zh"
> <
> [hidden email]>;
> 发送时间: 2020年8月10日(星期一) 中午12:36
> 收件人: "user-zh"<[hidden email]>;
>
> 主题: Re: flink1.11 es connector
>
>
>
> 对 ES 研究不是很深入。个人觉得是一个实用的场景。
>
> On Fri, 7 Aug 2020 at 09:50, Dream-底限 <[hidden email]> wrote:
>
> > hi、
> >
> 是的，大佬感觉用es做维表靠谱吗，这样就不用维护hbase二级索引了（或者用es存hbase二级索引，hbase存数据，但还是要用es充当一个维度）
> >
> > Jark Wu <[hidden email]> 于2020年8月7日周五上午12:34写道：
> >
> > > 目前社区由一个 issue 在跟进 es source ，可以关注一下：
> > > https://issues.apache.org/jira/browse/FLINK-16713
> > > 你想要的时态表查询，是想当成维表查询吗（lookup）？
> > >
> > > Best,
> > > Jark
> > >
> > > On Thu, 6 Aug 2020 at 11:20, Dream-底限 <[hidden email]>
> wrote:
> > >
> > > > hi
> > > >
> > > >
> > >
> >
> 我们这面想用es做时态表查询，但是flink没有报漏es源连接器，需要自己实现一个，请问大家对es做时态表这件事感觉靠谱吗（ps：之所以不用hbase是因为hbase的rowkey设计以及可能维护的二级索引比较麻烦，但hbase也是一个调研方案）
> > > >
> > >
> >

jacky-cui

回复： flink1.11 es connector

对你们的场景挺感兴趣，方便可以加个QQ聊聊，邮箱即我QQ

------------------ 原始邮件 ------------------
发件人: "user-zh" <[hidden email]>;
发送时间: 2020年8月11日(星期二) 下午3:51
收件人: "user-zh"<[hidden email]>;

主题: Re: flink1.11 es connector

hi
主要做实时特征，历史数据会做一次批量load，然后flink跑实时特征的计算，涉及到一些维度打算用双流关联+流表时态表关联，下游存储hbase/es/jdbc，先前想都用es，不过感觉es不是干这个的。。。。。。

jacky-cui <[hidden email]> 于2020年8月11日周二下午2:33写道：

> Hi, 我这边现在也用es做报表分析，但是对于你提到的场景我有个点不是很明白。
> 你们的flink 在其中充当的是什么角色呢，是清洗出维度结果，然后写到es吗？还是？
> 我是直接做成大宽表，然后用DSL语句去查询这个大宽表，能cover大部分报表需求
>
>
> 祝好
> 崔黄飞
>
>
> ------------------&nbsp;原始邮件&nbsp;------------------
> 发件人:
>                                                   "user-zh"
>                                                                     <
> [hidden email]&gt;;
> 发送时间:&nbsp;2020年8月10日(星期一) 中午12:36
> 收件人:&nbsp;"user-zh"<[hidden email]&gt;;
>
> 主题:&nbsp;Re: flink1.11 es connector
>
>
>
> 对 ES 研究不是很深入。个人觉得是一个实用的场景。
>
> On Fri, 7 Aug 2020 at 09:50, Dream-底限 <[hidden email]&gt; wrote:
>
> &gt; hi、
> &gt;
> 是的，大佬感觉用es做维表靠谱吗，这样就不用维护hbase二级索引了（或者用es存hbase二级索引，hbase存数据，但还是要用es充当一个维度）
> &gt;
> &gt; Jark Wu <[hidden email]&gt; 于2020年8月7日周五上午12:34写道：
> &gt;
> &gt; &gt; 目前社区由一个 issue 在跟进 es source ，可以关注一下：
> &gt; &gt; https://issues.apache.org/jira/browse/FLINK-16713
> &gt; &gt; 你想要的时态表查询，是想当成维表查询吗（lookup）？
> &gt; &gt;
> &gt; &gt; Best,
> &gt; &gt; Jark
> &gt; &gt;
> &gt; &gt; On Thu, 6 Aug 2020 at 11:20, Dream-底限 <[hidden email]&gt;
> wrote:
> &gt; &gt;
> &gt; &gt; &gt; hi
> &gt; &gt; &gt;
> &gt; &gt; &gt;
> &gt; &gt;
> &gt;
> 我们这面想用es做时态表查询，但是flink没有报漏es源连接器，需要自己实现一个，请问大家对es做时态表这件事感觉靠谱吗（ps：之所以不用hbase是因为hbase的rowkey设计以及可能维护的二级索引比较麻烦，但hbase也是一个调研方案）
> &gt; &gt; &gt;
> &gt; &gt;
> &gt;