flink stream如何为每条数据生成自增主键

classic Classic list List threaded Threaded
3 messages Options
Reply | Threaded
Open this post in threaded view
|

flink stream如何为每条数据生成自增主键

tiantingting5435@163.com

flink stream如何为每条数据生成自增主键??时间戳貌似不行,同一时间戳可能会产生多条数据,无法区分数据的现后顺序。


[hidden email]
Reply | Threaded
Open this post in threaded view
|

Re:flink stream如何为每条数据生成自增主键

Michael Ran
id 生成器吧
在 2020-07-22 15:51:44,"[hidden email]" <[hidden email]> 写道:
>
>flink stream如何为每条数据生成自增主键??时间戳貌似不行,同一时间戳可能会产生多条数据,无法区分数据的现后顺序。
>
>
>[hidden email]
Reply | Threaded
Open this post in threaded view
|

Re: flink stream如何为每条数据生成自增主键

Congxian Qiu
Hi
   你是希望每条数据有一个 id,这个 id 是随着数据递增的是啊?或许你可以使用 RichMapFunction[1] 来做这个事情,在每次
mapFunction 中把自定的 id 加进去,然后这个 id 还可以保存到 state 中,这样就算作业 failover 了,自增 id
也不会有问题。

[1]
https://ci.apache.org/projects/flink/flink-docs-release-1.11/dev/user_defined_functions.html#rich-functions
Best,
Congxian


Michael Ran <[hidden email]> 于2020年7月22日周三 下午4:17写道:

> id 生成器吧
> 在 2020-07-22 15:51:44,"[hidden email]" <[hidden email]>
> 写道:
> >
> >flink stream如何为每条数据生成自增主键??时间戳貌似不行,同一时间戳可能会产生多条数据,无法区分数据的现后顺序。
> >
> >
> >[hidden email]
>