Apache Flink 中文用户邮件列表

flink lookup join 关联出多条记录的语义问题

Classic

List

Threaded

7 messages Options

Jun He

flink lookup join 关联出多条记录的语义问题

Hi, 

在使用flink做lookup join时，如果左表的一条记录关联出右表的多条记录，这个时候该怎么处理? 比如有如下两个表：

主表(笔记表)：note(note_id varchar)
维表(图片表)：picture(pic_id varchar, note_id varchar)

一篇笔记会有多张图片，所以一条note记录对应了多条picture记录，现在要实时统计出每一个note有多少张picture, 我的sql是这样的：

select
  N.note_id as note_id,
  COUNT(P.pic_id) AS img_count 
from note N
LEFT JOIN picture FOR SYSTEM_TIME AS OF N.proc_time AS P ON N.note_id = P.note_id
group by N.note_id

如果不使用group by语法，有没有其它途径实现这个目的呢？

Benchao Li

Re: flink lookup join 关联出多条记录的语义问题

Hi，维表关联出来多条数据是符合预期的，维表本来的语义就是可以join出0到多条都有可能，需要看你的数据。

你的主表的流里面note_id会有重复么？没有重复的话，直接group by求count应该是可以的。

867127831 <[hidden email]> 于2020年5月9日周六下午7:10写道：

> Hi, 
>
>
> 在使用flink做lookup join时，如果左表的一条记录关联出右表的多条记录，这个时候该怎么处理? 比如有如下两个表：
>
>
> 主表(笔记表)：note(note_id varchar)
> 维表(图片表)：picture(pic_id varchar, note_id varchar)
>
>
> 一篇笔记会有多张图片，所以一条note记录对应了多条picture记录，现在要实时统计出每一个note有多少张picture, 我的sql是这样的：
>
>
> select
>   N.note_id as note_id,
>   COUNT(P.pic_id) AS img_count 
> from note N
> LEFT JOIN picture FOR SYSTEM_TIME AS OF N.proc_time AS P ON N.note_id =
> P.note_id
> group by N.note_id
>
>
>
> 如果不使用group by语法，有没有其它途径实现这个目的呢？

--

Benchao Li
School of Electronics Engineering and Computer Science, Peking University
Tel:+86-15650713730
Email: [hidden email]; [hidden email]

Jun He

回复： flink lookup join 关联出多条记录的语义问题

你好，我的主表流中note_id是会有重复的，比如我的主表是来自于binlog，这个note_id对应的记录中任何一个字段的变更
，都会有一条对应于这个note_id的消息进入到主流中。

------------------ 原始邮件 ------------------
发件人: "Benchao Li"<[hidden email]>;
发送时间: 2020年5月9日(星期六) 晚上7:36
收件人: "user-zh"<[hidden email]>;

主题: Re: flink lookup join 关联出多条记录的语义问题

Hi，维表关联出来多条数据是符合预期的，维表本来的语义就是可以join出0到多条都有可能，需要看你的数据。

你的主表的流里面note_id会有重复么？没有重复的话，直接group by求count应该是可以的。

867127831 <[hidden email]> 于2020年5月9日周六下午7:10写道：

> Hi,&nbsp;
>
>
> 在使用flink做lookup join时，如果左表的一条记录关联出右表的多条记录，这个时候该怎么处理? 比如有如下两个表：
>
>
> 主表(笔记表)：note(note_id varchar)
> 维表(图片表)：picture(pic_id varchar, note_id varchar)
>
>
> 一篇笔记会有多张图片，所以一条note记录对应了多条picture记录，现在要实时统计出每一个note有多少张picture, 我的sql是这样的：
>
>
> select
> &nbsp; N.note_id as note_id,
> &nbsp; COUNT(P.pic_id) AS img_count&nbsp;
> from note N
> LEFT JOIN picture FOR SYSTEM_TIME AS OF N.proc_time AS P ON N.note_id =
> P.note_id
> group by N.note_id
>
>
>
> 如果不使用group by语法，有没有其它途径实现这个目的呢？

--

Benchao Li
School of Electronics Engineering and Computer Science, Peking University
Tel:+86-15650713730
Email: [hidden email]; [hidden email]

Benchao Li

Re: flink lookup join 关联出多条记录的语义问题

那这样可能的确是不太好处理了，或者可以把维表改成：
> 维表(图片表)：picture(pic_count count, note_id varchar)

纯SQL的方法我没有想到更好的办法。

867127831 <[hidden email]> 于2020年5月9日周六下午8:21写道：

> 你好，我的主表流中note_id是会有重复的，比如我的主表是来自于binlog，这个note_id对应的记录中任何一个字段的变更
> ，都会有一条对应于这个note_id的消息进入到主流中。
>
>
>
>
>
> ------------------ 原始邮件 ------------------
> 发件人: "Benchao Li"<[hidden email]>;
> 发送时间: 2020年5月9日(星期六) 晚上7:36
> 收件人: "user-zh"<[hidden email]>;
>
> 主题: Re: flink lookup join 关联出多条记录的语义问题
>
>
>
> Hi，维表关联出来多条数据是符合预期的，维表本来的语义就是可以join出0到多条都有可能，需要看你的数据。
>
> 你的主表的流里面note_id会有重复么？没有重复的话，直接group by求count应该是可以的。
>
> 867127831 <[hidden email]> 于2020年5月9日周六下午7:10写道：
>
> > Hi,&nbsp;
> >
> >
> > 在使用flink做lookup join时，如果左表的一条记录关联出右表的多条记录，这个时候该怎么处理? 比如有如下两个表：
> >
> >
> > 主表(笔记表)：note(note_id varchar)
> > 维表(图片表)：picture(pic_id varchar, note_id varchar)
> >
> >
> > 一篇笔记会有多张图片，所以一条note记录对应了多条picture记录，现在要实时统计出每一个note有多少张picture,
> 我的sql是这样的：
> >
> >
> > select
> > &nbsp; N.note_id as note_id,
> > &nbsp; COUNT(P.pic_id) AS img_count&nbsp;
> > from note N
> > LEFT JOIN picture FOR SYSTEM_TIME AS OF N.proc_time AS P ON N.note_id
> =
> > P.note_id
> > group by N.note_id
> >
> >
> >
> > 如果不使用group by语法，有没有其它途径实现这个目的呢？
>
>
>
> --
>
> Benchao Li
> School of Electronics Engineering and Computer Science, Peking University
> Tel:+86-15650713730
> Email: [hidden email]; [hidden email]

--

Benchao Li
School of Electronics Engineering and Computer Science, Peking University
Tel:+86-15650713730
Email: [hidden email]; [hidden email]

Jark

Re: flink lookup join 关联出多条记录的语义问题

Administrator

Hi,

这种情况你可以先对主表根据主键（note_id）去重，然后再维表 join，然后再 count。
去重语法可以看这个文档：
https://ci.apache.org/projects/flink/flink-docs-master/zh/dev/table/sql/queries.html#%E5%8E%BB%E9%87%8D

Best,
Jark

On Sat, 9 May 2020 at 20:34, Benchao Li <[hidden email]> wrote:

> 那这样可能的确是不太好处理了，或者可以把维表改成：
> > 维表(图片表)：picture(pic_count count, note_id varchar)
>
> 纯SQL的方法我没有想到更好的办法。
>
> 867127831 <[hidden email]> 于2020年5月9日周六下午8:21写道：
>
> > 你好，我的主表流中note_id是会有重复的，比如我的主表是来自于binlog，这个note_id对应的记录中任何一个字段的变更
> > ，都会有一条对应于这个note_id的消息进入到主流中。
> >
> >
> >
> >
> >
> > ------------------ 原始邮件 ------------------
> > 发件人: "Benchao Li"<[hidden email]>;
> > 发送时间: 2020年5月9日(星期六) 晚上7:36
> > 收件人: "user-zh"<[hidden email]>;
> >
> > 主题: Re: flink lookup join 关联出多条记录的语义问题
> >
> >
> >
> > Hi，维表关联出来多条数据是符合预期的，维表本来的语义就是可以join出0到多条都有可能，需要看你的数据。
> >
> > 你的主表的流里面note_id会有重复么？没有重复的话，直接group by求count应该是可以的。
> >
> > 867127831 <[hidden email]> 于2020年5月9日周六下午7:10写道：
> >
> > > Hi,&nbsp;
> > >
> > >
> > > 在使用flink做lookup join时，如果左表的一条记录关联出右表的多条记录，这个时候该怎么处理? 比如有如下两个表：
> > >
> > >
> > > 主表(笔记表)：note(note_id varchar)
> > > 维表(图片表)：picture(pic_id varchar, note_id varchar)
> > >
> > >
> > > 一篇笔记会有多张图片，所以一条note记录对应了多条picture记录，现在要实时统计出每一个note有多少张picture,
> > 我的sql是这样的：
> > >
> > >
> > > select
> > > &nbsp; N.note_id as note_id,
> > > &nbsp; COUNT(P.pic_id) AS img_count&nbsp;
> > > from note N
> > > LEFT JOIN picture FOR SYSTEM_TIME AS OF N.proc_time AS P ON
> N.note_id
> > =
> > > P.note_id
> > > group by N.note_id
> > >
> > >
> > >
> > > 如果不使用group by语法，有没有其它途径实现这个目的呢？
> >
> >
> >
> > --
> >
> > Benchao Li
> > School of Electronics Engineering and Computer Science, Peking University
> > Tel:+86-15650713730
> > Email: [hidden email]; [hidden email]
>
>
>
> --
>
> Benchao Li
> School of Electronics Engineering and Computer Science, Peking University
> Tel:+86-15650713730
> Email: [hidden email]; [hidden email]
>

Leonard Xu

Re: flink lookup join 关联出多条记录的语义问题

In reply to this post by Benchao Li

Hi,
binlog中相同的note_id要取最新的note_id来和维表join吗？如果是可以用duplication 写法[1]

Best,
Leonard Xu
[1]https://ci.apache.org/projects/flink/flink-docs-master/dev/table/sql/queries.html#deduplication <https://ci.apache.org/projects/flink/flink-docs-master/dev/table/sql/queries.html#deduplication>

> 在 2020年5月9日，20:33，Benchao Li <[hidden email]> 写道：
>
> 那这样可能的确是不太好处理了，或者可以把维表改成：
>> 维表(图片表)：picture(pic_count count, note_id varchar)
>
> 纯SQL的方法我没有想到更好的办法。
>
> 867127831 <[hidden email]> 于2020年5月9日周六下午8:21写道：
>
>> 你好，我的主表流中note_id是会有重复的，比如我的主表是来自于binlog，这个note_id对应的记录中任何一个字段的变更
>> ，都会有一条对应于这个note_id的消息进入到主流中。
>>
>>
>>
>>
>>
>> ------------------ 原始邮件 ------------------
>> 发件人: "Benchao Li"<[hidden email]>;
>> 发送时间: 2020年5月9日(星期六) 晚上7:36
>> 收件人: "user-zh"<[hidden email]>;
>>
>> 主题: Re: flink lookup join 关联出多条记录的语义问题
>>
>>
>>
>> Hi，维表关联出来多条数据是符合预期的，维表本来的语义就是可以join出0到多条都有可能，需要看你的数据。
>>
>> 你的主表的流里面note_id会有重复么？没有重复的话，直接group by求count应该是可以的。
>>
>> 867127831 <[hidden email]> 于2020年5月9日周六下午7:10写道：
>>
>> > Hi,&nbsp;
>> >
>> >
>> > 在使用flink做lookup join时，如果左表的一条记录关联出右表的多条记录，这个时候该怎么处理? 比如有如下两个表：
>> >
>> >
>> > 主表(笔记表)：note(note_id varchar)
>> > 维表(图片表)：picture(pic_id varchar, note_id varchar)
>> >
>> >
>> > 一篇笔记会有多张图片，所以一条note记录对应了多条picture记录，现在要实时统计出每一个note有多少张picture,
>> 我的sql是这样的：
>> >
>> >
>> > select
>> > &nbsp; N.note_id as note_id,
>> > &nbsp; COUNT(P.pic_id) AS img_count&nbsp;
>> > from note N
>> > LEFT JOIN picture FOR SYSTEM_TIME AS OF N.proc_time AS P ON N.note_id
>> =
>> > P.note_id
>> > group by N.note_id
>> >
>> >
>> >
>> > 如果不使用group by语法，有没有其它途径实现这个目的呢？
>>
>>
>>
>> --
>>
>> Benchao Li
>> School of Electronics Engineering and Computer Science, Peking University
>> Tel:+86-15650713730
>> Email: [hidden email]; [hidden email]
>
>
>
> --
>
> Benchao Li
> School of Electronics Engineering and Computer Science, Peking University
> Tel:+86-15650713730
> Email: [hidden email]; [hidden email]

Lori681

Re: flink lookup join 关联出多条记录的语义问题

In reply to this post by Jun He