关于flink-sql count/sum 数据如何每天重新计算

classic Classic list List threaded Threaded
2 messages Options
Reply | Threaded
Open this post in threaded view
|

关于flink-sql count/sum 数据如何每天重新计算

夜思流年梦
现有此场景:
计算每天员工的业绩(只计算当天的)


现在我用flink-sql 的方式,insert into  select current_date, count(1) ,worker from XX  where writeTime>=current_date  group by worker;  
把数据按天分区的方式先把数据sink到mysql


但是发现落地到mysql的数据把前几天的数据都给算进来了,如何只算今天的数据?
另外还有一个疑惑,如何既计算当天数据,又包含了本月的所有数据?

Reply | Threaded
Open this post in threaded view
|

Re: 关于flink-sql count/sum 数据如何每天重新计算

LiangbinZhang
Hi, 夜思流年梦
    我理解按照日期分组就可以解决你的需求,流数据属于哪一天就只算当天的,不影响其他date的数据;
按天分组的数据都计算出来了,再汇总一下就是一个月的

Best,
Robin



夜思流年梦 wrote

> 现有此场景:
> 计算每天员工的业绩(只计算当天的)
>
>
> 现在我用flink-sql 的方式,insert into  select current_date, count(1) ,worker from
> XX  where writeTime>=current_date  group by worker;  
> 把数据按天分区的方式先把数据sink到mysql
>
>
> 但是发现落地到mysql的数据把前几天的数据都给算进来了,如何只算今天的数据?
> 另外还有一个疑惑,如何既计算当天数据,又包含了本月的所有数据?





--
Sent from: http://apache-flink.147419.n8.nabble.com/