flink版本升级问题咨询

classic Classic list List threaded Threaded
3 messages Options
Reply | Threaded
Open this post in threaded view
|

flink版本升级问题咨询

housezhang
目前现状:公司flink任务都是跑在flin1.7当中,通过公司开发的流计算平台进行提交到flink yarn集群,flink on yarn
基于flink
session进行部署,运行任务有接近500个流式任务,许多都是有状态应用,现在如果想把flink集群升级到1.11或者1.12,如何平滑的进行版本升级,而不影响现有的任务?
Reply | Threaded
Open this post in threaded view
|

回复:flink版本升级问题咨询

hailong
我试过 flink 1.7 升级到 1.10。如果使用到了 table api 涉及 group By 的话 savePoint恢复有问题,其他没发现过什么问题。或者可以使用下 process api 写一份数据,启动 job


在2021年1月7日 09:50,zhang hao<[hidden email]> 写道:
目前现状:公司flink任务都是跑在flin1.7当中,通过公司开发的流计算平台进行提交到flink yarn集群,flink on yarn
基于flink
session进行部署,运行任务有接近500个流式任务,许多都是有状态应用,现在如果想把flink集群升级到1.11或者1.12,如何平滑的进行版本升级,而不影响现有的任务?
Reply | Threaded
Open this post in threaded view
|

回复:flink版本升级问题咨询

hailong
描述的不太对,具体可以参考下这个
https://ci.apache.org/projects/flink/flink-docs-release-1.10/dev/libs/state_processor_api.html
在2021年1月11日 20:12,xuhaiLong<[hidden email]> 写道:
我试过 flink 1.7 升级到 1.10。如果使用到了 table api 涉及 group By 的话 savePoint恢复有问题,其他没发现过什么问题。或者可以使用下 process api 写一份数据,启动 job


在2021年1月7日 09:50,zhang hao<[hidden email]> 写道:
目前现状:公司flink任务都是跑在flin1.7当中,通过公司开发的流计算平台进行提交到flink yarn集群,flink on yarn
基于flink
session进行部署,运行任务有接近500个流式任务,许多都是有状态应用,现在如果想把flink集群升级到1.11或者1.12,如何平滑的进行版本升级,而不影响现有的任务?