flink-kafka-sink

classic Classic list List threaded Threaded
2 messages Options
cxx
Reply | Threaded
Open this post in threaded view
|

flink-kafka-sink

cxx
     我从kafka消费一条数据,然后将消息进行切分,再发送到下游的kafka中,但是这样不能保证在一个事务里面。
例如:我将一条数据切分成10条,然后再第五条的时候抛出一个异常,但是前四条已经发送到下游的kafka了。
我设置了事务id,隔离级别,client
id,enable.idempotence,max.in.flight.requests.per.connection,retries
但是没有效果。



--
Sent from: http://apache-flink.147419.n8.nabble.com/
Reply | Threaded
Open this post in threaded view
|

Re: flink-kafka-sink

r pp
hi,没有效果 具体是啥?

cxx <[hidden email]> 于2021年1月7日周四 上午9:53写道:

>      我从kafka消费一条数据,然后将消息进行切分,再发送到下游的kafka中,但是这样不能保证在一个事务里面。
> 例如:我将一条数据切分成10条,然后再第五条的时候抛出一个异常,但是前四条已经发送到下游的kafka了。
> 我设置了事务id,隔离级别,client
> id,enable.idempotence,max.in.flight.requests.per.connection,retries
> 但是没有效果。
>
>
>
> --
> Sent from: http://apache-flink.147419.n8.nabble.com/



--
Best,
  pp