Flink命令提交任务时是否支持配置文件与任务jar包分离

classic Classic list List threaded Threaded
5 messages Options
Reply | Threaded
Open this post in threaded view
|

Flink命令提交任务时是否支持配置文件与任务jar包分离

jinxiaolong_along@163.com
各位社区大佬:
       请问使用Flink命令提交任务时是否支持配置文件与任务jar包分离。
比如我的任务自身有个配置文件job.yaml,目前该配置是打到jar包中随任务提交的,可是有时候只是要调整下配置代码没改动也要重新打包发到环境上,感觉这样不灵活,
所以我想问下能不能单独把配置文件(可能是多个文件)放到一个目录下,然后提交任务的时候指定配置文件或者是配置目录。
类似jobManager把这些配置分发到TaskManager的classPath下这样的逻辑,这样就不用改下配置也要重新打包发到环境上了。
倒是有个-yt参数,但是这个是用来将指定的jar包传到容器中,不适用我说的场景吧。
各位大佬请问有没有好的办法或思路,求指导。

我用的flink版本是1.7.2



[hidden email]
Reply | Threaded
Open this post in threaded view
|

回复:Flink命令提交任务时是否支持配置文件与任务jar包分离

huanqinghappy
你好:
      是不是可以直接使用配置中心 例如把配置信息写到zookeeper上 这样还能做到当配置信息更改后不应用也可以做相应改变


------------------------------------------------------------------
发件人:[hidden email] <[hidden email]>
发送时间:2019年8月10日(星期六) 00:32
收件人:user-zh <[hidden email]>
主 题:Flink命令提交任务时是否支持配置文件与任务jar包分离

各位社区大佬:
       请问使用Flink命令提交任务时是否支持配置文件与任务jar包分离。
比如我的任务自身有个配置文件job.yaml,目前该配置是打到jar包中随任务提交的,可是有时候只是要调整下配置代码没改动也要重新打包发到环境上,感觉这样不灵活,
所以我想问下能不能单独把配置文件(可能是多个文件)放到一个目录下,然后提交任务的时候指定配置文件或者是配置目录。
类似jobManager把这些配置分发到TaskManager的classPath下这样的逻辑,这样就不用改下配置也要重新打包发到环境上了。
倒是有个-yt参数,但是这个是用来将指定的jar包传到容器中,不适用我说的场景吧。
各位大佬请问有没有好的办法或思路,求指导。

我用的flink版本是1.7.2



[hidden email]
Reply | Threaded
Open this post in threaded view
|

回复:Flink命令提交任务时是否支持配置文件与任务jar包分离

huanqinghappy
In reply to this post by jinxiaolong_along@163.com
配置频繁更新问题不只是flume程序需要解决其他的应用也需要解决的,可以做成基础公共服务
比如: Apollo
Apollo(阿波罗)是携程框架部门研发的分布式配置中心,能够集中化管理应用不同环境、不同集群的配置,配置修改后能够实时推送到应用端,并且具备规范的权限、流程治理等特性,适用于微服务配置管理场景。
https://github.com/ctripcorp/apollo




------------------------------------------------------------------
发送时间:2019年8月10日(星期六) 00:32
收件人:user-zh <[hidden email]>
主 题:Flink命令提交任务时是否支持配置文件与任务jar包分离

各位社区大佬:
       请问使用Flink命令提交任务时是否支持配置文件与任务jar包分离。
比如我的任务自身有个配置文件job.yaml,目前该配置是打到jar包中随任务提交的,可是有时候只是要调整下配置代码没改动也要重新打包发到环境上,感觉这样不灵活,
所以我想问下能不能单独把配置文件(可能是多个文件)放到一个目录下,然后提交任务的时候指定配置文件或者是配置目录。
类似jobManager把这些配置分发到TaskManager的classPath下这样的逻辑,这样就不用改下配置也要重新打包发到环境上了。
倒是有个-yt参数,但是这个是用来将指定的jar包传到容器中,不适用我说的场景吧。
各位大佬请问有没有好的办法或思路,求指导。

我用的flink版本是1.7.2



[hidden email]
Reply | Threaded
Open this post in threaded view
|

Re: 回复:Flink命令提交任务时是否支持配置文件与任务jar包分离

jinxiaolong_along@163.com
In reply to this post by huanqinghappy
你好:
       感谢你的回答,使用配置中心托管配置是可以解决这个问题。
其实我提问的初衷是想确认下flink自身在应用或部署层面上有没有相关的能力或使用技巧解决这个问题,或者是不是后续的演进已经考虑这方面的问题,
可能我还不知道,求社区大佬们指点。
我在用的版本是1.7.2



[hidden email]
 
发件人: huanqinghappy
发送时间: 2019-08-11 00:48
收件人: user-zh
主题: 回复:Flink命令提交任务时是否支持配置文件与任务jar包分离
你好:
      是不是可以直接使用配置中心 例如把配置信息写到zookeeper上 这样还能做到当配置信息更改后不应用也可以做相应改变
 
 
------------------------------------------------------------------
发件人:[hidden email] <[hidden email]>
发送时间:2019年8月10日(星期六) 00:32
收件人:user-zh <[hidden email]>
主 题:Flink命令提交任务时是否支持配置文件与任务jar包分离
 
各位社区大佬:
       请问使用Flink命令提交任务时是否支持配置文件与任务jar包分离。
比如我的任务自身有个配置文件job.yaml,目前该配置是打到jar包中随任务提交的,可是有时候只是要调整下配置代码没改动也要重新打包发到环境上,感觉这样不灵活,
所以我想问下能不能单独把配置文件(可能是多个文件)放到一个目录下,然后提交任务的时候指定配置文件或者是配置目录。
类似jobManager把这些配置分发到TaskManager的classPath下这样的逻辑,这样就不用改下配置也要重新打包发到环境上了。
倒是有个-yt参数,但是这个是用来将指定的jar包传到容器中,不适用我说的场景吧。
各位大佬请问有没有好的办法或思路,求指导。
 
我用的flink版本是1.7.2
 
 
 
[hidden email]
Reply | Threaded
Open this post in threaded view
|

回复: Flink命令提交任务时是否支持配置文件与任务jar包分离

venn
In reply to this post by jinxiaolong_along@163.com
可以分离,客户端提交的时候,初始化是在客户端上完成的,JobGraph 提交到
JobManager 之后不需要配置文件了


-----邮件原件-----
发件人: user-zh-return-797-wxchunjhyy=[hidden email]
<user-zh-return-797-wxchunjhyy=[hidden email]> 代表
[hidden email]
发送时间: Saturday, August 10, 2019 12:33 AM
收件人: user-zh <[hidden email]>
主题: Flink命令提交任务时是否支持配置文件与任务jar包分离

各位社区大佬:
       请问使用Flink命令提交任务时是否支持配置文件与任务jar包分离。
比如我的任务自身有个配置文件job.yaml,目前该配置是打到jar包中随任务提交的,可
是有时候只是要调整下配置代码没改动也要重新打包发到环境上,感觉这样不灵活,
所以我想问下能不能单独把配置文件(可能是多个文件)放到一个目录下,然后提交任务
的时候指定配置文件或者是配置目录。
类似jobManager把这些配置分发到TaskManager的classPath下这样的逻辑,这样就不用
改下配置也要重新打包发到环境上了。
倒是有个-yt参数,但是这个是用来将指定的jar包传到容器中,不适用我说的场景吧。
各位大佬请问有没有好的办法或思路,求指导。

我用的flink版本是1.7.2



[hidden email]