group agg 开启了mini batch之后，state ttl不生效的问题

[kandy.wang]

group agg 开启了mini batch之后，state ttl不生效的问题：


现在我们发现好像 计算订单指标，写hbase，开启mini batch确实是需要的。这样可以大大降低sink 算子的数据量，降低hbase的写入tps,减少hbase压力。不然每来一条数据就处理一次的话，单个任务 就可以把hbase 的tps 干到 十几万。


sql-client-defaults.yaml对应的参数应该是这2个吧：
# minimum idle state retention in ms
min-idle-state-retention: 0
# maximum idle state retention in ms
max-idle-state-retention: 0
这个现在进展如何了，这个社区打算什么时候支持

[liujiangang]

修复方案参考https://github.com/apache/flink/pull/11830

kandy.wang <[hidden email]> 于2020年9月30日周三 下午2:19写道：

> group agg 开启了mini batch之后，state ttl不生效的问题：
>
>
> 现在我们发现好像 计算订单指标，写hbase，开启mini batch确实是需要的。这样可以大大降低sink
> 算子的数据量，降低hbase的写入tps,减少hbase压力。不然每来一条数据就处理一次的话，单个任务 就可以把hbase 的tps 干到 十几万。
>
>
> sql-client-defaults.yaml对应的参数应该是这2个吧：
> # minimum idle state retention in ms
> min-idle-state-retention: 0
> # maximum idle state retention in ms
> max-idle-state-retention: 0
> 这个现在进展如何了，这个社区打算什么时候支持
>
>
>
>

[Tianwang Li]

这种有窗口统计没有影响吧？


刘建刚 <[hidden email]> 于2020年9月30日周三 下午2:25写道：

> 修复方案参考https://github.com/apache/flink/pull/11830
>
> kandy.wang <[hidden email]> 于2020年9月30日周三 下午2:19写道：
>
> > group agg 开启了mini batch之后，state ttl不生效的问题：
> >
> >
> > 现在我们发现好像 计算订单指标，写hbase，开启mini batch确实是需要的。这样可以大大降低sink
> > 算子的数据量，降低hbase的写入tps,减少hbase压力。不然每来一条数据就处理一次的话，单个任务 就可以把hbase 的tps 干到
> 十几万。
> >
> >
> > sql-client-defaults.yaml对应的参数应该是这2个吧：
> > # minimum idle state retention in ms
> > min-idle-state-retention: 0
> > # maximum idle state retention in ms
> > max-idle-state-retention: 0
> > 这个现在进展如何了，这个社区打算什么时候支持
> >
> >
> >
> >
>

--
**************************************
 tivanli
**************************************

[刘大龙]

这个是是非窗口下agg的优化，目前窗口聚合agg还不支持mini batch

> -----原始邮件-----
> 发件人: "Tianwang Li" <[hidden email]>
> 发送时间: 2020-09-30 14:32:39 (星期三)
> 收件人: [hidden email]
> 抄送:
> 主题: Re: group agg 开启了mini batch之后，state ttl不生效的问题
>
> 这种有窗口统计没有影响吧？
>
>
> 刘建刚 <[hidden email]> 于2020年9月30日周三 下午2:25写道：
>
> > 修复方案参考https://github.com/apache/flink/pull/11830
> >
> > kandy.wang <[hidden email]> 于2020年9月30日周三 下午2:19写道：
> >
> > > group agg 开启了mini batch之后，state ttl不生效的问题：
> > >
> > >
> > > 现在我们发现好像 计算订单指标，写hbase，开启mini batch确实是需要的。这样可以大大降低sink
> > > 算子的数据量，降低hbase的写入tps,减少hbase压力。不然每来一条数据就处理一次的话，单个任务 就可以把hbase 的tps 干到
> > 十几万。
> > >
> > >
> > > sql-client-defaults.yaml对应的参数应该是这2个吧：
> > > # minimum idle state retention in ms
> > > min-idle-state-retention: 0
> > > # maximum idle state retention in ms
> > > max-idle-state-retention: 0
> > > 这个现在进展如何了，这个社区打算什么时候支持
> > >
> > >
> > >
> > >
> >
>
>
> --
> **************************************
>  tivanli
> **************************************

------------------------------
刘大龙

浙江大学 控制系 智能系统与控制研究所 工控新楼217
地址：浙江省杭州市浙大路38号浙江大学玉泉校区
Tel：[phone]