Flink开发者们,你们好:
我在使用flink开发过程中遇到一个问题,在使用jdbc做维度表关联时,该算子很快就finished了,从而导致无法正常的checkoint(我看源码中checkpoint前会检查所有算子状态必须为running),请问目前有什么参数可以使jdbc不finished或者在算子finished后依然可以checkpoint么?如果没有,那对这种情况的支持是否列入flink未来版本的开发计划中? 期待你们的回信 祝各位工作顺利,谢谢 赵庚申 赵庚申 Phone:15383463958 Email:[hidden email]<mailto:[hidden email]> |
hi,
请问使用的Flink版本是什么呢?猜测你应该是写成普通的join方式了,可参考 [1] [1] https://ci.apache.org/projects/flink/flink-docs-release-1.12/dev/table/sql/queries.html#joins best, amenhub 发件人: Gengshen Zhao 发送时间: 2021-03-18 16:26 收件人: [hidden email] 主题: Flink SQL JDBC connector不能checkpoint Flink开发者们,你们好: 我在使用flink开发过程中遇到一个问题,在使用jdbc做维度表关联时,该算子很快就finished了,从而导致无法正常的checkoint(我看源码中checkpoint前会检查所有算子状态必须为running),请问目前有什么参数可以使jdbc不finished或者在算子finished后依然可以checkpoint么?如果没有,那对这种情况的支持是否列入flink未来版本的开发计划中? 期待你们的回信 祝各位工作顺利,谢谢 赵庚申 赵庚申 Phone:15383463958 Email:[hidden email]<mailto:[hidden email]> |
感谢您的回复,我的flink 版本为1.12,关联方式是Join with Temporal Table,具体关联sql如下
|SELECT tb_a.* |FROM person_event_enter_base tb_a | LEFT JOIN base_common_site_conf FOR SYSTEM_TIME AS OF tb_a.rowtime AS tb_b | ON tb_a.site_id = tb_b.entity_id | AND tb_b.`type` = 'business_start' | WHERE tb_a.begin_time >= CONCAT_WS(' ', tb_a.`date`, COALESCE(tb_b.`value`,'09:30:00')) 其中rowtime为生成的watermark 赵庚申 Phone:15383463958 Email:[hidden email]<mailto:[hidden email]> 2021年3月18日 下午4:39,amenhub <[hidden email]<mailto:[hidden email]>> 写道: hi, 请问使用的Flink版本是什么呢?猜测你应该是写成普通的join方式了,可参考 [1] [1] https://ci.apache.org/projects/flink/flink-docs-release-1.12/dev/table/sql/queries.html#joins best, amenhub 发件人: Gengshen Zhao 发送时间: 2021-03-18 16:26 收件人: [hidden email]<mailto:[hidden email]> 主题: Flink SQL JDBC connector不能checkpoint Flink开发者们,你们好: 我在使用flink开发过程中遇到一个问题,在使用jdbc做维度表关联时,该算子很快就finished了,从而导致无法正常的checkoint(我看源码中checkpoint前会检查所有算子状态必须为running),请问目前有什么参数可以使jdbc不finished或者在算子finished后依然可以checkpoint么?如果没有,那对这种情况的支持是否列入flink未来版本的开发计划中? 期待你们的回信 祝各位工作顺利,谢谢 赵庚申 赵庚申 Phone:15383463958 Email:[hidden email]<mailto:[hidden email]><mailto:[hidden email]> |
In reply to this post by amenhub@163.com
感谢您的回复,我的flink 版本为1.12,关联方式是Join with Temporal Table,具体关联sql如下
|SELECT tb_a.* |FROM person_event_enter_base tb_a | LEFT JOIN base_common_site_conf FOR SYSTEM_TIME AS OF tb_a.rowtime AS tb_b | ON tb_a.site_id = tb_b.entity_id | AND tb_b.`type` = 'business_start' | WHERE tb_a.begin_time >= CONCAT_WS(' ', tb_a.`date`, COALESCE(tb_b.`value`,'09:30:00')) 其中rowtime为生成的watermark 赵庚申 Phone:15383463958 Email:[hidden email]<mailto:[hidden email]> 2021年3月18日 下午4:39,amenhub <[hidden email]<mailto:[hidden email]>> 写道: hi, 请问使用的Flink版本是什么呢?猜测你应该是写成普通的join方式了,可参考 [1] [1] https://ci.apache.org/projects/flink/flink-docs-release-1.12/dev/table/sql/queries.html#joins best, amenhub 发件人: Gengshen Zhao 发送时间: 2021-03-18 16:26 收件人: [hidden email]<mailto:[hidden email]> 主题: Flink SQL JDBC connector不能checkpoint Flink开发者们,你们好: 我在使用flink开发过程中遇到一个问题,在使用jdbc做维度表关联时,该算子很快就finished了,从而导致无法正常的checkoint(我看源码中checkpoint前会检查所有算子状态必须为running),请问目前有什么参数可以使jdbc不finished或者在算子finished后依然可以checkpoint么?如果没有,那对这种情况的支持是否列入flink未来版本的开发计划中? 期待你们的回信 祝各位工作顺利,谢谢 赵庚申 赵庚申 Phone:15383463958 Email:[hidden email]<mailto:[hidden email]><mailto:[hidden email]> |
hi,
那就是我之前在社区向大佬提问过的疑惑哈,可以参考解决 [1] [1] http://mail-archives.apache.org/mod_mbox/flink-user-zh/202012.mbox/%3c8158D3CD-EE97-4F81-9ADB-C6E3F1B7FF10@...%3e ps.很多问题可以先去找找邮件列表,看看是否有过相关问题的解答,这样效率更高~ best, amenhub 发件人: Gengshen Zhao 发送时间: 2021-03-18 16:58 收件人: [hidden email] 主题: Re: Flink SQL JDBC connector不能checkpoint 感谢您的回复,我的flink 版本为1.12,关联方式是Join with Temporal Table,具体关联sql如下 |SELECT tb_a.* |FROM person_event_enter_base tb_a | LEFT JOIN base_common_site_conf FOR SYSTEM_TIME AS OF tb_a.rowtime AS tb_b | ON tb_a.site_id = tb_b.entity_id | AND tb_b.`type` = 'business_start' | WHERE tb_a.begin_time >= CONCAT_WS(' ', tb_a.`date`, COALESCE(tb_b.`value`,'09:30:00')) 其中rowtime为生成的watermark 赵庚申 Phone:15383463958 Email:[hidden email]<mailto:[hidden email]> 2021年3月18日 下午4:39,amenhub <[hidden email]<mailto:[hidden email]>> 写道: hi, 请问使用的Flink版本是什么呢?猜测你应该是写成普通的join方式了,可参考 [1] [1] https://ci.apache.org/projects/flink/flink-docs-release-1.12/dev/table/sql/queries.html#joins best, amenhub 发件人: Gengshen Zhao 发送时间: 2021-03-18 16:26 收件人: [hidden email]<mailto:[hidden email]> 主题: Flink SQL JDBC connector不能checkpoint Flink开发者们,你们好: 我在使用flink开发过程中遇到一个问题,在使用jdbc做维度表关联时,该算子很快就finished了,从而导致无法正常的checkoint(我看源码中checkpoint前会检查所有算子状态必须为running),请问目前有什么参数可以使jdbc不finished或者在算子finished后依然可以checkpoint么?如果没有,那对这种情况的支持是否列入flink未来版本的开发计划中? 期待你们的回信 祝各位工作顺利,谢谢 赵庚申 赵庚申 Phone:15383463958 Email:[hidden email]<mailto:[hidden email]><mailto:[hidden email]> |
Free forum by Nabble | Edit this page |