Hi Michael Ran:
是的，我其实也不需要id，但是dba建表要求必须有自增id，所以才发现这个问题。我去查了mysql的文档，是innodb对auto_increment做了设置，默认就会对所有insert执行auto_increment + 1操作，可以通过修改innodb的配置来避免这个情况，但是会引擎写入性能的下降（有锁）。这个问题确实很隐含，很难发现，非常感谢解答。
但是，对于insert into on dumplicate key的方式还是有质疑，感觉如果可以将insert和update明确的区分开，这样会更加好。再次感谢。
原始邮件
发件人: Michael Ran<
[hidden email]>
收件人: user-zh<
[hidden email]>
发送时间: 2020年9月27日(周日) 15:03
主题: Re:Re:Re: Re: Flink SQL撤回流问题
感觉这不是flink的问题，我们也有类似场景，dt 按天其实并不多，直接就没要id了，如果你非要id，而且数量变化巨大，那么用integer ，当然还是有可能超。 auto 一般适用数据量不大的单表场景。分布式大数据量场景，都是自己设计id，或者不要id 在 2020-09-27 14:56:06，"xiao cai" <
[hidden email]> 写道： >Hi Ran: >非常感谢，我试了insert into ON DUPLICATE KEY UPDATE dt=“dt"的方式，确实是会出现update的始终是id=1，但是auto_increment 却一直增加的情况。感觉这样不是很合理，因为随着数据量的增加，迟早会出现数值越界的情形。 > > > 原始邮件 >发件人: Michael Ran<
[hidden email]> >收件人: user-zh<
[hidden email]> >发送时间: 2020年9月27日(周日) 14:37 >主题: Re:Re: Re: Flink SQL撤回流问题 > > >没有传入id，始终是1 ？ <br/>那就是第一次insert update 之后，生成的1.<br/><br/>后面都是<br/>insert into table(dt,num) values(dt,新数量) ON DUPLICATE KEY UPDATE dt=values(dt)<br/><br/>你模拟下这个语句呢，看看id成为1 之后，是不是就不变了 在 2020-09-27 14:32:57，"xiao cai" <
[hidden email]> 写道： >Hi lec ssmi: > insert的时候没有指定id，只指定了dt和cnt，因为id在mysql的sink表里是自增的主键，所以flink sql里并没有指定。 > 原始邮件 >发件人: lec ssmi<
[hidden email]> >收件人: flink-user-cn<
[hidden email]> >发送时间: 2020年9月27日(周日) 14:25 >主题: Re: Re: Flink SQL撤回流问题 > > >你那个主键=1,应该是传进去的，不是mysql自动生成的吧。所以auto_increment才会一直增长啊。 kandy.wang <
[hidden email]> 于2020年9月27日周日 下午2:01写道： > > > > > > > hi > 你建mysql要指定主键，另外创建flink表时也要指定一下主键 > > PRIMARY KEY (id) NOT ENFORCED，这样就会根据主键upsert了 > > > > > > > > > 在 2020-09-27 13:36:25，"xiao cai" <
[hidden email]> 写道： > > >如果是先delete再insert，为何主键id一直都是1呢，如果delete在insert时指定了id值，那么auto_increment是不会变的。 > >这是我很困惑的地方。 > > > > > > 原始邮件 > >发件人: lec ssmi<
[hidden email]> > >收件人: flink-user-cn<
[hidden email]> > >发送时间: 2020年9月27日(周日) 13:06 > >主题: Re: Flink SQL撤回流问题 > > > > > >是不是底层的sink在处理retract的时候，使用的是先delte再insert ， 而不是直接update呢。 xiao cai < >
[hidden email]> 于2020年9月27日周日 下午12:08写道： > 场景如下： > source table: kafka > > sink table: mysql schem(id, dt, cnt) > > > insert : > insert into sink > > select dt,count(distinct id) from source group by dt; > > > > 这时mysql对应sink表中有一条数据(1, 2020-09-25, 100)，随着事件消费，cnt字段会不断变化，id，dt保持不变 > show > create table sink可以发现auto_increment在不断的变大。 > 当超过id的取值范围，就会报错了。 > > > 原始邮件 > > 发件人: Michael Ran<
[hidden email]> > 收件人: user-zh< >
[hidden email]> > 发送时间: 2020年9月27日(周日) 11:51 > 主题: Re:Flink > SQL撤回流问题 > > > 详细场景描述下呢 在 2020-09-27 11:48:36，"xiao cai" <
[hidden email]> > 写道： >Hi: > >使用Flink SQL撤回流写入MySQL，表的auto_increment > > 越来越大是为什么，我的输出结果只有一条，mysql表里也只有一条数据，自增主键id的值一直为1，但是auto_increment却越来越大。求解答。 >
Locked
