回复: Re: 怎么样在Flink中使用java代码提交job到yarn

classic Classic list List threaded Threaded
3 messages Options
Reply | Threaded
Open this post in threaded view
|

回复: Re: 怎么样在Flink中使用java代码提交job到yarn

xiao cai
非常感谢建议,有zeeplin api的相关文档吗




 原始邮件
发件人: [hidden email]<[hidden email]>
收件人: user-zh<[hidden email]>
发送时间: 2020年9月29日(周二) 09:54
主题: 回复: Re: 怎么样在Flink中使用java代码提交job到yarn


我们项目中也是用到了这个,我也是暂时采用的捕获日志来解析得到yarn application id 和 flink job id的 后期重点研究一下zeeplin,或许可以修改一下源码来镶嵌到我们自己的系统中或者直接调用zeeplin的api 发件人: xushanshan 发送时间: 2020-09-25 16:42 收件人: user-zh 主题: Re: 怎么样在Flink中使用java代码提交job到yarn 可以捕获控制台打印出来的日志,flink相关日志的格式很固定,字符串截取就能获得 yarn application id 和 flink job id > 在 2020年9月25日,下午4:23,xiao cai <[hidden email]> 写道: > > Hi all: > 大家好,我目前遇到一个flink 任务提交方面的困扰: > 想要在自己的项目中(springboot)提交flink job到yarn上。目前采用的方式是process类在本地起进程,调用bin/flink来启动。这样不是很优雅,而且比较难获取到提交的jobId和containerId。看到网上有博客使用ClusterClient的方式来提交,但是遇到了classpath的问题,会缺失一些FLINK_HOME/lib下的jar包 > 所以我想问,应该如何在自己的应用中提交任务到yarn,既能拿到任务信息,又可以解决classpath为指定带来的困扰。 > 非常感谢 > > > best, > xiao
Reply | Threaded
Open this post in threaded view
|

Re: 回复: 怎么样在Flink中使用java代码提交job到yarn

Evan
zeeplin的相关文档可以参考:

https://www.yuque.com/jeffzhangjianfeng/gldg8w

这里写的很详细,收藏依赖慢慢看



 
发件人: xiao cai
发送时间: 2020-09-29 13:13
收件人: user-zh
主题: 回复: Re: 怎么样在Flink中使用java代码提交job到yarn
非常感谢建议,有zeeplin api的相关文档吗
 
 
 
 
原始邮件
发件人: [hidden email]<[hidden email]>
收件人: user-zh<[hidden email]>
发送时间: 2020年9月29日(周二) 09:54
主题: 回复: Re: 怎么样在Flink中使用java代码提交job到yarn
 
 
我们项目中也是用到了这个,我也是暂时采用的捕获日志来解析得到yarn application id 和 flink job id的 后期重点研究一下zeeplin,或许可以修改一下源码来镶嵌到我们自己的系统中或者直接调用zeeplin的api 发件人: xushanshan 发送时间: 2020-09-25 16:42 收件人: user-zh 主题: Re: 怎么样在Flink中使用java代码提交job到yarn 可以捕获控制台打印出来的日志,flink相关日志的格式很固定,字符串截取就能获得 yarn application id 和 flink job id > 在 2020年9月25日,下午4:23,xiao cai <[hidden email]> 写道: > > Hi all: > 大家好,我目前遇到一个flink 任务提交方面的困扰: > 想要在自己的项目中(springboot)提交flink job到yarn上。目前采用的方式是process类在本地起进程,调用bin/flink来启动。这样不是很优雅,而且比较难获取到提交的jobId和containerId。看到网上有博客使用ClusterClient的方式来提交,但是遇到了classpath的问题,会缺失一些FLINK_HOME/lib下的jar包 > 所以我想问,应该如何在自己的应用中提交任务到yarn,既能拿到任务信息,又可以解决classpath为指定带来的困扰。 > 非常感谢 > > > best, > xiao
Reply | Threaded
Open this post in threaded view
|

Re: 回复: Re: 怎么样在Flink中使用java代码提交job到yarn

todd
In reply to this post by xiao cai