Flink SQL JDBC connector不能checkpoint

classic Classic list List threaded Threaded
5 messages Options
Reply | Threaded
Open this post in threaded view
|

Flink SQL JDBC connector不能checkpoint

Gengshen Zhao
Flink开发者们,你们好:
我在使用flink开发过程中遇到一个问题,在使用jdbc做维度表关联时,该算子很快就finished了,从而导致无法正常的checkoint(我看源码中checkpoint前会检查所有算子状态必须为running),请问目前有什么参数可以使jdbc不finished或者在算子finished后依然可以checkpoint么?如果没有,那对这种情况的支持是否列入flink未来版本的开发计划中?
期待你们的回信
祝各位工作顺利,谢谢
赵庚申


赵庚申

Phone:15383463958
Email:[hidden email]<mailto:[hidden email]>




Reply | Threaded
Open this post in threaded view
|

Re: Flink SQL JDBC connector不能checkpoint

amenhub@163.com
hi,

请问使用的Flink版本是什么呢?猜测你应该是写成普通的join方式了,可参考 [1]

[1] https://ci.apache.org/projects/flink/flink-docs-release-1.12/dev/table/sql/queries.html#joins

best,
amenhub



 
发件人: Gengshen Zhao
发送时间: 2021-03-18 16:26
收件人: [hidden email]
主题: Flink SQL JDBC connector不能checkpoint
Flink开发者们,你们好:
我在使用flink开发过程中遇到一个问题,在使用jdbc做维度表关联时,该算子很快就finished了,从而导致无法正常的checkoint(我看源码中checkpoint前会检查所有算子状态必须为running),请问目前有什么参数可以使jdbc不finished或者在算子finished后依然可以checkpoint么?如果没有,那对这种情况的支持是否列入flink未来版本的开发计划中?
期待你们的回信
祝各位工作顺利,谢谢
赵庚申
 
 
赵庚申
 
Phone:15383463958
Email:[hidden email]<mailto:[hidden email]>
 
 
 
 
Reply | Threaded
Open this post in threaded view
|

Re: Flink SQL JDBC connector不能checkpoint

Gengshen Zhao
感谢您的回复,我的flink 版本为1.12,关联方式是Join with Temporal Table,具体关联sql如下

|SELECT tb_a.*
|FROM person_event_enter_base tb_a
|    LEFT JOIN base_common_site_conf FOR SYSTEM_TIME AS OF tb_a.rowtime AS tb_b
|    ON tb_a.site_id = tb_b.entity_id
|    AND tb_b.`type` = 'business_start'
| WHERE tb_a.begin_time >= CONCAT_WS(' ', tb_a.`date`, COALESCE(tb_b.`value`,'09:30:00'))

其中rowtime为生成的watermark

赵庚申

Phone:15383463958
Email:[hidden email]<mailto:[hidden email]>




2021年3月18日 下午4:39,amenhub <[hidden email]<mailto:[hidden email]>> 写道:

hi,

请问使用的Flink版本是什么呢?猜测你应该是写成普通的join方式了,可参考 [1]

[1] https://ci.apache.org/projects/flink/flink-docs-release-1.12/dev/table/sql/queries.html#joins

best,
amenhub




发件人: Gengshen Zhao
发送时间: 2021-03-18 16:26
收件人: [hidden email]<mailto:[hidden email]>
主题: Flink SQL JDBC connector不能checkpoint
Flink开发者们,你们好:
我在使用flink开发过程中遇到一个问题,在使用jdbc做维度表关联时,该算子很快就finished了,从而导致无法正常的checkoint(我看源码中checkpoint前会检查所有算子状态必须为running),请问目前有什么参数可以使jdbc不finished或者在算子finished后依然可以checkpoint么?如果没有,那对这种情况的支持是否列入flink未来版本的开发计划中?
期待你们的回信
祝各位工作顺利,谢谢
赵庚申


赵庚申

Phone:15383463958
Email:[hidden email]<mailto:[hidden email]><mailto:[hidden email]>





Reply | Threaded
Open this post in threaded view
|

Re: Flink SQL JDBC connector不能checkpoint

Gengshen Zhao
In reply to this post by amenhub@163.com
感谢您的回复,我的flink 版本为1.12,关联方式是Join with Temporal Table,具体关联sql如下

|SELECT tb_a.*
|FROM person_event_enter_base tb_a
|    LEFT JOIN base_common_site_conf FOR SYSTEM_TIME AS OF tb_a.rowtime AS tb_b
|    ON tb_a.site_id = tb_b.entity_id
|    AND tb_b.`type` = 'business_start'
| WHERE tb_a.begin_time >= CONCAT_WS(' ', tb_a.`date`, COALESCE(tb_b.`value`,'09:30:00'))

其中rowtime为生成的watermark

赵庚申

Phone:15383463958
Email:[hidden email]<mailto:[hidden email]>




2021年3月18日 下午4:39,amenhub <[hidden email]<mailto:[hidden email]>> 写道:

hi,

请问使用的Flink版本是什么呢?猜测你应该是写成普通的join方式了,可参考 [1]

[1] https://ci.apache.org/projects/flink/flink-docs-release-1.12/dev/table/sql/queries.html#joins

best,
amenhub




发件人: Gengshen Zhao
发送时间: 2021-03-18 16:26
收件人: [hidden email]<mailto:[hidden email]>
主题: Flink SQL JDBC connector不能checkpoint
Flink开发者们,你们好:
我在使用flink开发过程中遇到一个问题,在使用jdbc做维度表关联时,该算子很快就finished了,从而导致无法正常的checkoint(我看源码中checkpoint前会检查所有算子状态必须为running),请问目前有什么参数可以使jdbc不finished或者在算子finished后依然可以checkpoint么?如果没有,那对这种情况的支持是否列入flink未来版本的开发计划中?
期待你们的回信
祝各位工作顺利,谢谢
赵庚申


赵庚申

Phone:15383463958
Email:[hidden email]<mailto:[hidden email]><mailto:[hidden email]>





Reply | Threaded
Open this post in threaded view
|

Re: Re: Flink SQL JDBC connector不能checkpoint

amenhub@163.com
hi,

那就是我之前在社区向大佬提问过的疑惑哈,可以参考解决 [1]

[1] http://mail-archives.apache.org/mod_mbox/flink-user-zh/202012.mbox/%3c8158D3CD-EE97-4F81-9ADB-C6E3F1B7FF10@...%3e

ps.很多问题可以先去找找邮件列表,看看是否有过相关问题的解答,这样效率更高~

best,
amenhub



 
发件人: Gengshen Zhao
发送时间: 2021-03-18 16:58
收件人: [hidden email]
主题: Re: Flink SQL JDBC connector不能checkpoint
感谢您的回复,我的flink 版本为1.12,关联方式是Join with Temporal Table,具体关联sql如下
 
|SELECT tb_a.*
|FROM person_event_enter_base tb_a
|    LEFT JOIN base_common_site_conf FOR SYSTEM_TIME AS OF tb_a.rowtime AS tb_b
|    ON tb_a.site_id = tb_b.entity_id
|    AND tb_b.`type` = 'business_start'
| WHERE tb_a.begin_time >= CONCAT_WS(' ', tb_a.`date`, COALESCE(tb_b.`value`,'09:30:00'))
 
其中rowtime为生成的watermark
 
赵庚申
 
Phone:15383463958
Email:[hidden email]<mailto:[hidden email]>
 
 
 
 
2021年3月18日 下午4:39,amenhub <[hidden email]<mailto:[hidden email]>> 写道:
 
hi,
 
请问使用的Flink版本是什么呢?猜测你应该是写成普通的join方式了,可参考 [1]
 
[1] https://ci.apache.org/projects/flink/flink-docs-release-1.12/dev/table/sql/queries.html#joins
 
best,
amenhub
 
 
 
 
发件人: Gengshen Zhao
发送时间: 2021-03-18 16:26
收件人: [hidden email]<mailto:[hidden email]>
主题: Flink SQL JDBC connector不能checkpoint
Flink开发者们,你们好:
我在使用flink开发过程中遇到一个问题,在使用jdbc做维度表关联时,该算子很快就finished了,从而导致无法正常的checkoint(我看源码中checkpoint前会检查所有算子状态必须为running),请问目前有什么参数可以使jdbc不finished或者在算子finished后依然可以checkpoint么?如果没有,那对这种情况的支持是否列入flink未来版本的开发计划中?
期待你们的回信
祝各位工作顺利,谢谢
赵庚申
 
 
赵庚申
 
Phone:15383463958
Email:[hidden email]<mailto:[hidden email]><mailto:[hidden email]>