flink 结合canal统计订单gmv

[air23]

hi 你好

    需要用flink 解析mysql的binlog 统计订单表  产品维度的gmv，

    但是一个insert的binlog 会出现同时购买多个订单 会出现一个集合的订单集合 但是我想统计订单里面产品维度的gmv，如下图

    返回的是一个list的订单集合，但是我想取每个订单里面的产品id进行维度统计 ，请问flink 有什么算子 可以把一个list数据的流数据 变成多条流

谢谢

 

[Alec Chen]

Hi,

截图无法显示, 不知道你是使用FlinkSQL还是DataStreamAPI实现, 前者可以参考UDTF, 后者可以参考FlatMap "Takes
one element and produces zero, one, or more elements. A flatmap function
that splits sentences to words"
https://ci.apache.org/projects/flink/flink-docs-stable/dev/stream/operators/

王飞 <[hidden email]> 于2019年8月8日周四 下午4:53写道：

> hi 你好
>     需要用flink 解析mysql的binlog 统计订单表  产品维度的gmv，
>     但是一个insert的binlog 会出现同时购买多个订单 会出现一个集合的订单集合 但是我想统计订单里面产品维度的gmv，如下图
>     返回的是一个list的订单集合，但是我想取每个订单里面的产品id进行维度统计 ，请问flink 有什么算子 可以把一个list数据的流数据
> 变成多条流
> 谢谢
>
>
>
>

[air23]

hi

如上图  是一个kafka流 将一个canal解析的binlog 数据解析成一个arraybuffer的流数据  我想把arraybuffer解析成一个个order  然后再转换为table api进行产品维度的gmv统计，

原始解析代码 和 数据见附件

谢谢

在 2019-08-08 17:34:24，"Alec Chen" <[hidden email]> 写道：
>Hi,
>
>截图无法显示, 不知道你是使用FlinkSQL还是DataStreamAPI实现, 前者可以参考UDTF, 后者可以参考FlatMap "Takes
>one element and produces zero, one, or more elements. A flatmap function
>that splits sentences to words"
>https://ci.apache.org/projects/flink/flink-docs-stable/dev/stream/operators/
>
>王飞 <[hidden email]> 于2019年8月8日周四 下午4:53写道：
>
>> hi 你好
>>     需要用flink 解析mysql的binlog 统计订单表  产品维度的gmv，
>>     但是一个insert的binlog 会出现同时购买多个订单 会出现一个集合的订单集合 但是我想统计订单里面产品维度的gmv，如下图
>>     返回的是一个list的订单集合，但是我想取每个订单里面的产品id进行维度统计 ，请问flink 有什么算子 可以把一个list数据的流数据
>> 变成多条流
>> 谢谢
>>
>>
>>
>>

 

[air23]

hi

如上图  是一个kafka流 将一个canal解析的binlog 数据解析成一个arraybuffer的流数据  我想把arraybuffer解析成一个个order  然后再转换为table api进行产品维度的gmv统计，

原始解析代码 和 数据见附件

谢谢

在 2019-08-08 17:34:24，"Alec Chen" <[hidden email]> 写道：
>Hi,
>
>截图无法显示, 不知道你是使用FlinkSQL还是DataStreamAPI实现, 前者可以参考UDTF, 后者可以参考FlatMap "Takes
>one element and produces zero, one, or more elements. A flatmap function
>that splits sentences to words"
>https://ci.apache.org/projects/flink/flink-docs-stable/dev/stream/operators/
>
>王飞 <[hidden email]> 于2019年8月8日周四 下午4:53写道：
>
>> hi 你好
>>     需要用flink 解析mysql的binlog 统计订单表  产品维度的gmv，
>>     但是一个insert的binlog 会出现同时购买多个订单 会出现一个集合的订单集合 但是我想统计订单里面产品维度的gmv，如下图
>>     返回的是一个list的订单集合，但是我想取每个订单里面的产品id进行维度统计 ，请问flink 有什么算子 可以把一个list数据的流数据
>> 变成多条流
>> 谢谢
>>
>>
>>
>>

 

 

[air23]

hi

如上图  是一个kafka流 将一个canal解析的binlog 数据解析成一个arraybuffer的流数据  我想把arraybuffer解析成一个个order  然后再转换为table api进行产品维度的gmv统计，

原始解析代码 和 数据见附件

谢谢

 

[1101300123]

没看到附件啊

	1101300123
hdxg1101300123@...

签名由 网易邮箱大师 定制

在2019年8月9日 10:14，[hidden email] 写道：

hi

如上图  是一个kafka流 将一个canal解析的binlog 数据解析成一个arraybuffer的流数据  我想把arraybuffer解析成一个个order  然后再转换为table api进行产品维度的gmv统计，

原始解析代码 和 数据见附件

谢谢