flinksql 消费kafka offset问题

[air23]

flink消费kafka 只能使用checkpoint去维护offset吗

我这边使用'scan.startup.mode' = 'group-offsets'

如果中间报错了 或者停止任务，但是我下游sink还没有完成，
下次启动直接跳过这个报错的数据，会丢数据，谢谢回复

[Michael Ran]

下游sink还没有完成, offset 不是在checkpoint 里面的吗？<br/>下次启动会从你ck的位置恢复才对。<br/>除非你sink 是异步操作，告诉上游你sink 完成了，实际你sink失败了
在 2021-01-15 10:29:15，"air23" <[hidden email]> 写道：
>flink消费kafka 只能使用checkpoint去维护offset吗
>
>我这边使用'scan.startup.mode' = 'group-offsets'
>
>如果中间报错了 或者停止任务，但是我下游sink还没有完成，
>下次启动直接跳过这个报错的数据，会丢数据，谢谢回复

[air23]

我的意思 是不使用checkpoint。
使用'scan.startup.mode' = 'group-offsets' 去维护offset





















在 2021-01-15 11:35:16，"Michael Ran" <[hidden email]> 写道：
>下游sink还没有完成, offset 不是在checkpoint 里面的吗？<br/>下次启动会从你ck的位置恢复才对。<br/>除非你sink 是异步操作，告诉上游你sink 完成了，实际你sink失败了
>在 2021-01-15 10:29:15，"air23" <[hidden email]> 写道：
>>flink消费kafka 只能使用checkpoint去维护offset吗
>>
>>我这边使用'scan.startup.mode' = 'group-offsets'
>>
>>如果中间报错了 或者停止任务，但是我下游sink还没有完成，
>>下次启动直接跳过这个报错的数据，会丢数据，谢谢回复

[Michael Ran]

额，不用checkpoint 会比较麻烦。 以前自定义sink 的时候，会把消息信息到sink 位置进行提交。 上游source 也得改造，拉取位置也得统一，比如走redis 数据库等等
在 2021-01-15 12:41:25，"air23" <[hidden email]> 写道：

>我的意思 是不使用checkpoint。
>使用'scan.startup.mode' = 'group-offsets' 去维护offset
>
>
>
>
>
>
>
>
>
>
>
>
>
>
>
>
>
>
>
>
>
>在 2021-01-15 11:35:16，"Michael Ran" <[hidden email]> 写道：
>>下游sink还没有完成, offset 不是在checkpoint 里面的吗？<br/>下次启动会从你ck的位置恢复才对。<br/>除非你sink 是异步操作，告诉上游你sink 完成了，实际你sink失败了
>>在 2021-01-15 10:29:15，"air23" <[hidden email]> 写道：
>>>flink消费kafka 只能使用checkpoint去维护offset吗
>>>
>>>我这边使用'scan.startup.mode' = 'group-offsets'
>>>
>>>如果中间报错了 或者停止任务，但是我下游sink还没有完成，
>>>下次启动直接跳过这个报错的数据，会丢数据，谢谢回复