flinkSQL join 表的历史信息保存在哪里保存多久

classic Classic list List threaded Threaded
5 messages Options
Reply | Threaded
Open this post in threaded view
|

flinkSQL join 表的历史信息保存在哪里保存多久

wanglei2@geekplus.com.cn

两个从 kafka 创建的表:

tableA: key  valueA
tableB: key  valueB

用 flink sql 提交job 运行: select  tableA.key, tableA.valueA,tableB.valueB from tableA join tableB on tableA.key = tableB.key;
这两个表的历史数据在 flink 中存在哪里?存多久呢?

比如我 tableA key1 先出现,很长时间以后(一个月)tableB key1 才出现,这时候还能 join 上吗?
 
谢谢,
王磊



[hidden email]
Reply | Threaded
Open this post in threaded view
|

Re: flinkSQL join 表的历史信息保存在哪里保存多久

wang jinhai
应该是withIdleStateRetentionTime参数的配置时间。具体文档:https://ci.apache.org/projects/flink/flink-docs-release-1.10/dev/table/streaming/query_configuration.html#idle-state-retention-time


在 2020/3/12 下午12:37,“[hidden email]”<[hidden email]> 写入:

   
    两个从 kafka 创建的表:
   
    tableA: key  valueA
    tableB: key  valueB
   
    用 flink sql 提交job 运行: select  tableA.key, tableA.valueA,tableB.valueB from tableA join tableB on tableA.key = tableB.key;
    这两个表的历史数据在 flink 中存在哪里?存多久呢?
   
    比如我 tableA key1 先出现,很长时间以后(一个月)tableB key1 才出现,这时候还能 join 上吗?
     
    谢谢,
    王磊
   
   
   
    [hidden email]
   


Reply | Threaded
Open this post in threaded view
|

Re: Re: flinkSQL join表的历史信息保存在哪里保存多久

wanglei2@geekplus.com.cn

这个文档是最新的吗,我直接在 IDEA 里面写这三行代码。
StreamQueryConfig Deprecated, tableEnv 没有 queryConfig() 方法
StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();
StreamTableEnvironment tableEnv = StreamTableEnvironment.create(env);
StreamQueryConfig qConfig = tableEnv.queryConfig();



[hidden email]

 
Sender: jinhai wang
Send Time: 2020-03-12 13:44
Receiver: [hidden email]
Subject: Re: flinkSQL join表的历史信息保存在哪里保存多久
应该是withIdleStateRetentionTime参数的配置时间。具体文档:https://ci.apache.org/projects/flink/flink-docs-release-1.10/dev/table/streaming/query_configuration.html#idle-state-retention-time
 
 
在 2020/3/12 下午12:37,“[hidden email]”<[hidden email]> 写入:
 
   
    两个从 kafka 创建的表:
   
    tableA: key  valueA
    tableB: key  valueB
   
    用 flink sql 提交job 运行: select  tableA.key, tableA.valueA,tableB.valueB from tableA join tableB on tableA.key = tableB.key;
    这两个表的历史数据在 flink 中存在哪里?存多久呢?
   
    比如我 tableA key1 先出现,很长时间以后(一个月)tableB key1 才出现,这时候还能 join 上吗?
     
    谢谢,
    王磊
   
   
   
    [hidden email]
   
 
Reply | Threaded
Open this post in threaded view
|

Re:Re: Re: flinkSQL join表的历史信息保存在哪里保存多久

sunfulin




这样来用:
StreamTableEnvironment.getConfig().setIdleStateRetentionTime(min, max);







在 2020-03-12 14:11:31,"[hidden email]" <[hidden email]> 写道:

>
>这个文档是最新的吗,我直接在 IDEA 里面写这三行代码。
>StreamQueryConfig Deprecated, tableEnv 没有 queryConfig() 方法
>StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();
>StreamTableEnvironment tableEnv = StreamTableEnvironment.create(env);
>StreamQueryConfig qConfig = tableEnv.queryConfig();
>
>
>
>[hidden email]
>
>
>Sender: jinhai wang
>Send Time: 2020-03-12 13:44
>Receiver: [hidden email]
>Subject: Re: flinkSQL join表的历史信息保存在哪里保存多久
>应该是withIdleStateRetentionTime参数的配置时间。具体文档:https://ci.apache.org/projects/flink/flink-docs-release-1.10/dev/table/streaming/query_configuration.html#idle-state-retention-time
>
>
>在 2020/3/12 下午12:37,“[hidden email]”<[hidden email]> 写入:
>
>    
>    两个从 kafka 创建的表:
>    
>    tableA: key  valueA
>    tableB: key  valueB
>    
>    用 flink sql 提交job 运行: select  tableA.key, tableA.valueA,tableB.valueB from tableA join tableB on tableA.key = tableB.key;
>    这两个表的历史数据在 flink 中存在哪里?存多久呢?
>    
>    比如我 tableA key1 先出现,很长时间以后(一个月)tableB key1 才出现,这时候还能 join 上吗?
>    
>    谢谢,
>    王磊
>    
>    
>    
>    [hidden email]
>    
>
Reply | Threaded
Open this post in threaded view
|

Re: Re: flinkSQL join表的历史信息保存在哪里保存多久

wanglei2@geekplus.com.cn

Thanks, it works.


[hidden email]
 
Sender: sunfulin
Send Time: 2020-03-12 14:19
Receiver: user-zh; wanglei2
cc: jinhai.me
Subject: Re:Re: Re: flinkSQL join表的历史信息保存在哪里保存多久


这样来用:
StreamTableEnvironment.getConfig().setIdleStateRetentionTime(min, max);




在 2020-03-12 14:11:31,"[hidden email]" <[hidden email]> 写道:

>
>这个文档是最新的吗,我直接在 IDEA 里面写这三行代码。
>StreamQueryConfig Deprecated, tableEnv 没有 queryConfig() 方法
>StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();
>StreamTableEnvironment tableEnv = StreamTableEnvironment.create(env);
>StreamQueryConfig qConfig = tableEnv.queryConfig();
>
>
>
>[hidden email]
>
>
>Sender: jinhai wang
>Send Time: 2020-03-12 13:44
>Receiver: [hidden email]
>Subject: Re: flinkSQL join表的历史信息保存在哪里保存多久
>应该是withIdleStateRetentionTime参数的配置时间。具体文档:https://ci.apache.org/projects/flink/flink-docs-release-1.10/dev/table/streaming/query_configuration.html#idle-state-retention-time
>
>
>在 2020/3/12 下午12:37,“[hidden email]”<[hidden email]> 写入:
>
>    
>    两个从 kafka 创建的表:
>    
>    tableA: key  valueA
>    tableB: key  valueB
>    
>    用 flink sql 提交job 运行: select  tableA.key, tableA.valueA,tableB.valueB from tableA join tableB on tableA.key = tableB.key;
>    这两个表的历史数据在 flink 中存在哪里?存多久呢?
>    
>    比如我 tableA key1 先出现,很长时间以后(一个月)tableB key1 才出现,这时候还能 join 上吗?
>    
>    谢谢,
>    王磊
>    
>    
>    
>    [hidden email]
>    
>