pyflink-udaf

classic Classic list List threaded Threaded
2 messages Options
Reply | Threaded
Open this post in threaded view
|

pyflink-udaf

hepeitan

您好:

      我们项目组计划使用pyflink的udaf对数据进行聚合处理,拜读社区文章得知,对于批处理方式或窗口式聚合,建议使用Vectorized Aggregate Functions。但此case提供的代码不完全,不是完整的case,
自己编写测试程序报错:"org.apache.flink.table.api.ValidationException: Undefined function: weighted_avg",附件为测试代码
      请问能否提供一个完整的pyflink的udaf对数据进行聚合处理示例,多谢!!!


 

Reply | Threaded
Open this post in threaded view
|

Re: pyflink-udaf

Xingbo Huang
Hi,

我这边没有看到你提供的附件。关于这个报错,我在你上封邮件回复你了,你可以看下是不是你的weighted_avg
没有进行注册(可以通过create_temporary_system_function或者register_function来注册,这样就可以通过字符串的方式进行使用)。当然你要是直接使用DSL的方式(文档中的例子),是不用你注册的。

Best,
Xingbo

hepeitan <[hidden email]> 于2021年1月4日周一 下午8:48写道:

> 您好:
>       我们项目组计划使用pyflink的udaf对数据进行聚合处理,拜读社区文章得知,对于批处理方式或窗口式聚合,建议使用Vectorized
> Aggregate Functions
> <https://ci.apache.org/projects/flink/flink-docs-release-1.12/zh/dev/python/table-api-users-guide/udfs/vectorized_python_udfs.html#vectorized-aggregate-functions>
> 。但此case提供的代码不完全,不是完整的case,
> 自己编写测试程序报错:"org.apache.flink.table.api.ValidationException: Undefined
> function: weighted_avg",附件为测试代码
>       请问能否提供一个完整的pyflink的udaf对数据进行聚合处理示例,多谢!!!
>
>
>
>