flink elasticsearch sink 如何能不丢数据?

classic Classic list List threaded Threaded
2 messages Options
Reply | Threaded
Open this post in threaded view
|

flink elasticsearch sink 如何能不丢数据?

小旋锋
大家好:
    
elasticsearch 不支持事务提交,flink elasticsearch sink无法提供 exactly-once语义,我发现flink作业意外重启时,会有数据丢失,请问如何让elasticsearch sink不丢失数据呢?
注:我的数据每次计算都会得到不同的uuId


感谢
Reply | Threaded
Open this post in threaded view
|

Re: flink elasticsearch sink 如何能不丢数据?

Jark
Administrator
Hi,

你的图片丢失了。你可以将图片上传到某个图床,然后将图片链接贴在这里。或者直接粘贴代码。

关于你的问题,flink elasticsearch sink 默认是 at-least-once 保证的,所以及时发生
failover,也能保证数据至少写到 es sink一次,所以理论上不会丢失数据。
不过,如果你手动关闭了 flush on checkpoint,e.g. "connector.flush-on-checkpoint" =
"false", 那么就没有 at-least-once 保证了,数据就可能会丢失。

Best,
Jark


On Sat, 7 Mar 2020 at 15:26, 小旋锋 <[hidden email]> wrote:

> 大家好:
>
> elasticsearch 不支持事务提交,flink elasticsearch sink无法提供
> exactly-once语义,我发现flink作业意外重启时,会有数据丢失,请问如何让elasticsearch sink不丢失数据呢?
> 注:我的数据每次计算都会得到不同的uuId
>
>
> 感谢
>