Apache Flink 中文用户邮件列表

Flink 1.10 和 Flink 1.11 中 keyBy 算子聚合多个字段的问题

Classic

List

Threaded

5 messages Options

sherlock zw

Flink 1.10 和 Flink 1.11 中 keyBy 算子聚合多个字段的问题

大佬们：
在 Flink 1.10.x 中的 keyBy 算子可以同时按多个字段分组，比如 map.keyBy(0,1)，但在 1.11.x 版本中这种方式被弃用了，看了下源码好像不支持按多字段分组了？还是有别的其他形式？
如果我想按多个字段分组的话需要怎么操作？
请大佬指点！

guanxianchun

Re: Flink 1.10 和 Flink 1.11 中 keyBy 算子聚合多个字段的问题

flink-1.11使用KeySelector<IN, KEY>

--
Sent from: http://apache-flink.147419.n8.nabble.com/

sherlock zw

答复: Flink 1.10 和 Flink 1.11 中 keyBy 算子聚合多个字段的问题

我看了现在的 flink 1.11 的 keyBy 的代码，是使用的KeySelector<T, K> key，但每次只能返回一个字段，不支持返回多个字段，也就说明了一次只能按一个字段去分组(PS: test.keyBy(t -> t.f0))，如果我想按多个字段进行分组的话该怎么操作呢？

-----邮件原件-----
发件人: guanxianchun <[hidden email]>
发送时间: 2020年11月19日 20:53
收件人: [hidden email]
主题: Re: Flink 1.10 和 Flink 1.11 中 keyBy 算子聚合多个字段的问题

flink-1.11使用KeySelector<IN, KEY>

--
Sent from: http://apache-flink.147419.n8.nabble.com/

nobleyd

Re: Flink 1.10 和 Flink 1.11 中 keyBy 算子聚合多个字段的问题

（1）返回字符串，自己拼接就可以。
（2）返回Tuple类型作为Key。
1.10到1.11相当于是去除了多key的辅助keyBy方法，本身内部就是组成tuple。原因不清楚。

sherlock zw <[hidden email]> 于2020年11月20日周五上午11:18写道：

> 我看了现在的 flink 1.11 的 keyBy 的代码，是使用的KeySelector<T, K>
> key，但每次只能返回一个字段，不支持返回多个字段，也就说明了一次只能按一个字段去分组(PS: test.keyBy(t ->
> t.f0))，如果我想按多个字段进行分组的话该怎么操作呢？
>
> -----邮件原件-----
> 发件人: guanxianchun <[hidden email]>
> 发送时间: 2020年11月19日 20:53
> 收件人: [hidden email]
> 主题: Re: Flink 1.10 和 Flink 1.11 中 keyBy 算子聚合多个字段的问题
>
> flink-1.11使用KeySelector<IN, KEY>
>
>
>
> --
> Sent from: http://apache-flink.147419.n8.nabble.com/
>

sherlock zw

答复: Flink 1.10 和 Flink 1.11 中 keyBy 算子聚合多个字段的问题

多谢指点，试了下，返回 Tuple 类型作为 key 是可以按多个字段进行分组的，拼接成 String 的话应该也是可以的
final SingleOutputStreamOperator<Tuple3<String, String, Double>> sum = flatMap
.keyBy(new KeySelector<Tuple3<String, String, Double>, Tuple2<String, String>>() {
@Override
public Tuple2<String, String> getKey(Tuple3<String, String, Double> tuple3) throws Exception {
return Tuple2.of(tuple3.f0, tuple3.f1);
}
})
.sum(2);

-----邮件原件-----
发件人: 赵一旦 <[hidden email]>
发送时间: 2020年11月23日 14:35
收件人: [hidden email]
主题: Re: Flink 1.10 和 Flink 1.11 中 keyBy 算子聚合多个字段的问题

（1）返回字符串，自己拼接就可以。
（2）返回Tuple类型作为Key。
1.10到1.11相当于是去除了多key的辅助keyBy方法，本身内部就是组成tuple。原因不清楚。

sherlock zw <[hidden email]> 于2020年11月20日周五上午11:18写道：