flink任务提交

[Dream-底限]

hi、
我这面想通过java程序使用perJob模式提交一个flink
jar任务到yarn集群，我看了一下flink-client和flink-yarn包，感觉是可以做到的，但又有点儿无从入手的感觉，请问flink可以做到吗，具体调用哪个类哪

[wxpcc]

大概可以用，YarnClusterDescriptor

命令行方式封装提交对于后续升级更加方便一些，个人建议



--
Sent from: http://apache-flink.147419.n8.nabble.com/

[Dream-底限]

hi、
请问你说的是自己拼接cli字符串，然后通过java调用子进程执行的这种方式吗
我先前也是这么做的，但感觉比较怪异，这种方式有一个问题是貌似没办法直接返回applicationId，要从日志里面筛选好像，再就是没办法判断提交是否成功，貌似也是从日志来做，请问这个applicationId在提交的时候除了从日志筛选有其他的获取方式吗

wxpcc <[hidden email]> 于2020年8月19日周三 下午4:09写道：

> 大概可以用，YarnClusterDescriptor
>
> 命令行方式封装提交对于后续升级更加方便一些，个人建议
>
>
>
> --
> Sent from: http://apache-flink.147419.n8.nabble.com/

[Jeff Zhang]

Zeppelin 最近在做这样的API来提交Flink Job，这里有个例子可以参考下
https://github.com/zjffdu/zeppelin/blob/ZEPPELIN-4981/zeppelin-interpreter-integration/src/test/java/org/apache/zeppelin/integration/ZSessionIntegrationTest.java#L307

可以加入钉钉群讨论，钉钉群号：32803524



Dream-底限 <[hidden email]> 于2020年8月19日周三 下午4:27写道：

> hi、
> 请问你说的是自己拼接cli字符串，然后通过java调用子进程执行的这种方式吗
>
> 我先前也是这么做的，但感觉比较怪异，这种方式有一个问题是貌似没办法直接返回applicationId，要从日志里面筛选好像，再就是没办法判断提交是否成功，貌似也是从日志来做，请问这个applicationId在提交的时候除了从日志筛选有其他的获取方式吗
>
> wxpcc <[hidden email]> 于2020年8月19日周三 下午4:09写道：
>
> > 大概可以用，YarnClusterDescriptor
> >
> > 命令行方式封装提交对于后续升级更加方便一些，个人建议
> >
> >
> >
> > --
> > Sent from: http://apache-flink.147419.n8.nabble.com/
>

--
Best Regards

Jeff Zhang

[Dream-底限]

好的，感谢

Jeff Zhang <[hidden email]> 于2020年8月19日周三 下午4:31写道：

> Zeppelin 最近在做这样的API来提交Flink Job，这里有个例子可以参考下
>
> https://github.com/zjffdu/zeppelin/blob/ZEPPELIN-4981/zeppelin-interpreter-integration/src/test/java/org/apache/zeppelin/integration/ZSessionIntegrationTest.java#L307
>
> 可以加入钉钉群讨论，钉钉群号：32803524
>
>
>
> Dream-底限 <[hidden email]> 于2020年8月19日周三 下午4:27写道：
>
> > hi、
> > 请问你说的是自己拼接cli字符串，然后通过java调用子进程执行的这种方式吗
> >
> >
> 我先前也是这么做的，但感觉比较怪异，这种方式有一个问题是貌似没办法直接返回applicationId，要从日志里面筛选好像，再就是没办法判断提交是否成功，貌似也是从日志来做，请问这个applicationId在提交的时候除了从日志筛选有其他的获取方式吗
> >
> > wxpcc <[hidden email]> 于2020年8月19日周三 下午4:09写道：
> >
> > > 大概可以用，YarnClusterDescriptor
> > >
> > > 命令行方式封装提交对于后续升级更加方便一些，个人建议
> > >
> > >
> > >
> > > --
> > > Sent from: http://apache-flink.147419.n8.nabble.com/
> >
>
>
> --
> Best Regards
>
> Jeff Zhang
>

[nobleyd]

直接写个脚本提交不可以吗，为什么一定要通过java提交呢？

Dream-底限 <[hidden email]> 于2020年8月19日周三 下午4:41写道：

> 好的，感谢
>
> Jeff Zhang <[hidden email]> 于2020年8月19日周三 下午4:31写道：
>
> > Zeppelin 最近在做这样的API来提交Flink Job，这里有个例子可以参考下
> >
> >
> https://github.com/zjffdu/zeppelin/blob/ZEPPELIN-4981/zeppelin-interpreter-integration/src/test/java/org/apache/zeppelin/integration/ZSessionIntegrationTest.java#L307
> >
> > 可以加入钉钉群讨论，钉钉群号：32803524
> >
> >
> >
> > Dream-底限 <[hidden email]> 于2020年8月19日周三 下午4:27写道：
> >
> > > hi、
> > > 请问你说的是自己拼接cli字符串，然后通过java调用子进程执行的这种方式吗
> > >
> > >
> >
> 我先前也是这么做的，但感觉比较怪异，这种方式有一个问题是貌似没办法直接返回applicationId，要从日志里面筛选好像，再就是没办法判断提交是否成功，貌似也是从日志来做，请问这个applicationId在提交的时候除了从日志筛选有其他的获取方式吗
> > >
> > > wxpcc <[hidden email]> 于2020年8月19日周三 下午4:09写道：
> > >
> > > > 大概可以用，YarnClusterDescriptor
> > > >
> > > > 命令行方式封装提交对于后续升级更加方便一些，个人建议
> > > >
> > > >
> > > >
> > > > --
> > > > Sent from: http://apache-flink.147419.n8.nabble.com/
> > >
> >
> >
> > --
> > Best Regards
> >
> > Jeff Zhang
> >
>

[Dream-底限]

想springboot服务化对外报漏接口请求

赵一旦 <[hidden email]> 于2020年8月19日周三 下午5:18写道：

> 直接写个脚本提交不可以吗，为什么一定要通过java提交呢？
>
> Dream-底限 <[hidden email]> 于2020年8月19日周三 下午4:41写道：
>
> > 好的，感谢
> >
> > Jeff Zhang <[hidden email]> 于2020年8月19日周三 下午4:31写道：
> >
> > > Zeppelin 最近在做这样的API来提交Flink Job，这里有个例子可以参考下
> > >
> > >
> >
> https://github.com/zjffdu/zeppelin/blob/ZEPPELIN-4981/zeppelin-interpreter-integration/src/test/java/org/apache/zeppelin/integration/ZSessionIntegrationTest.java#L307
> > >
> > > 可以加入钉钉群讨论，钉钉群号：32803524
> > >
> > >
> > >
> > > Dream-底限 <[hidden email]> 于2020年8月19日周三 下午4:27写道：
> > >
> > > > hi、
> > > > 请问你说的是自己拼接cli字符串，然后通过java调用子进程执行的这种方式吗
> > > >
> > > >
> > >
> >
> 我先前也是这么做的，但感觉比较怪异，这种方式有一个问题是貌似没办法直接返回applicationId，要从日志里面筛选好像，再就是没办法判断提交是否成功，貌似也是从日志来做，请问这个applicationId在提交的时候除了从日志筛选有其他的获取方式吗
> > > >
> > > > wxpcc <[hidden email]> 于2020年8月19日周三 下午4:09写道：
> > > >
> > > > > 大概可以用，YarnClusterDescriptor
> > > > >
> > > > > 命令行方式封装提交对于后续升级更加方便一些，个人建议
> > > > >
> > > > >
> > > > >
> > > > > --
> > > > > Sent from: http://apache-flink.147419.n8.nabble.com/
> > > >
> > >
> > >
> > > --
> > > Best Regards
> > >
> > > Jeff Zhang
> > >
> >
>

[nobleyd]

做个任务管理界面，然后点点点，到后台，然后后台通过java程序提交任务，这样吗？高端。

Dream-底限 <[hidden email]> 于2020年8月19日周三 下午5:22写道：

> 想springboot服务化对外报漏接口请求
>
> 赵一旦 <[hidden email]> 于2020年8月19日周三 下午5:18写道：
>
> > 直接写个脚本提交不可以吗，为什么一定要通过java提交呢？
> >
> > Dream-底限 <[hidden email]> 于2020年8月19日周三 下午4:41写道：
> >
> > > 好的，感谢
> > >
> > > Jeff Zhang <[hidden email]> 于2020年8月19日周三 下午4:31写道：
> > >
> > > > Zeppelin 最近在做这样的API来提交Flink Job，这里有个例子可以参考下
> > > >
> > > >
> > >
> >
> https://github.com/zjffdu/zeppelin/blob/ZEPPELIN-4981/zeppelin-interpreter-integration/src/test/java/org/apache/zeppelin/integration/ZSessionIntegrationTest.java#L307
> > > >
> > > > 可以加入钉钉群讨论，钉钉群号：32803524
> > > >
> > > >
> > > >
> > > > Dream-底限 <[hidden email]> 于2020年8月19日周三 下午4:27写道：
> > > >
> > > > > hi、
> > > > > 请问你说的是自己拼接cli字符串，然后通过java调用子进程执行的这种方式吗
> > > > >
> > > > >
> > > >
> > >
> >
> 我先前也是这么做的，但感觉比较怪异，这种方式有一个问题是貌似没办法直接返回applicationId，要从日志里面筛选好像，再就是没办法判断提交是否成功，貌似也是从日志来做，请问这个applicationId在提交的时候除了从日志筛选有其他的获取方式吗
> > > > >
> > > > > wxpcc <[hidden email]> 于2020年8月19日周三 下午4:09写道：
> > > > >
> > > > > > 大概可以用，YarnClusterDescriptor
> > > > > >
> > > > > > 命令行方式封装提交对于后续升级更加方便一些，个人建议
> > > > > >
> > > > > >
> > > > > >
> > > > > > --
> > > > > > Sent from: http://apache-flink.147419.n8.nabble.com/
> > > > >
> > > >
> > > >
> > > > --
> > > > Best Regards
> > > >
> > > > Jeff Zhang
> > > >
> > >
> >
>

[米子日匀]

可以封装下接口，提交到yarn来做


----发自139邮箱

在2020-08-19 17:22:38
米子日匀写道:


发件人:赵一旦<[hidden email]>
日期:2020-08-19 17:17:52
收件人:user-zh<[hidden email]>
主题:Re: flink任务提交

直接写个脚本提交不可以吗，为什么一定要通过java提交呢？

Dream-底限<[hidden email]>于2020年8月19日周三 下午4:41写道：

好的，感谢

Jeff Zhang<[hidden email]>于2020年8月19日周三 下午4:31写道：

Zeppelin 最近在做这样的API来提交Flink Job，这里有个例子可以参考下


https://github.com/zjffdu/zeppelin/blob/ZEPPELIN-4981/zeppelin-interpreter-integration/src/test/java/org/apache/zeppelin/integration/ZSessionIntegrationTest.java#L307

可以加入钉钉群讨论，钉钉群号：32803524



Dream-底限<[hidden email]>于2020年8月19日周三 下午4:27写道：

hi、
请问你说的是自己拼接cli字符串，然后通过java调用子进程执行的这种方式吗



我先前也是这么做的，但感觉比较怪异，这种方式有一个问题是貌似没办法直接返回applicationId，要从日志里面筛选好像，再就是没办法判断提交是否成功，貌似也是从日志来做，请问这个applicationId在提交的时候除了从日志筛选有其他的获取方式吗

wxpcc<[hidden email]>于2020年8月19日周三 下午4:09写道：

大概可以用，YarnClusterDescriptor

命令行方式封装提交对于后续升级更加方便一些，个人建议



--
Sent from: http://apache-flink.147419.n8.nabble.com/



--
Best Regards

Jeff Zhang

[Dream-底限]

是的给傻瓜用户用的，开发人员大多不喜欢用

赵一旦 <[hidden email]> 于2020年8月19日周三 下午5:34写道：

> 做个任务管理界面，然后点点点，到后台，然后后台通过java程序提交任务，这样吗？高端。
>
> Dream-底限 <[hidden email]> 于2020年8月19日周三 下午5:22写道：
>
> > 想springboot服务化对外报漏接口请求
> >
> > 赵一旦 <[hidden email]> 于2020年8月19日周三 下午5:18写道：
> >
> > > 直接写个脚本提交不可以吗，为什么一定要通过java提交呢？
> > >
> > > Dream-底限 <[hidden email]> 于2020年8月19日周三 下午4:41写道：
> > >
> > > > 好的，感谢
> > > >
> > > > Jeff Zhang <[hidden email]> 于2020年8月19日周三 下午4:31写道：
> > > >
> > > > > Zeppelin 最近在做这样的API来提交Flink Job，这里有个例子可以参考下
> > > > >
> > > > >
> > > >
> > >
> >
> https://github.com/zjffdu/zeppelin/blob/ZEPPELIN-4981/zeppelin-interpreter-integration/src/test/java/org/apache/zeppelin/integration/ZSessionIntegrationTest.java#L307
> > > > >
> > > > > 可以加入钉钉群讨论，钉钉群号：32803524
> > > > >
> > > > >
> > > > >
> > > > > Dream-底限 <[hidden email]> 于2020年8月19日周三 下午4:27写道：
> > > > >
> > > > > > hi、
> > > > > > 请问你说的是自己拼接cli字符串，然后通过java调用子进程执行的这种方式吗
> > > > > >
> > > > > >
> > > > >
> > > >
> > >
> >
> 我先前也是这么做的，但感觉比较怪异，这种方式有一个问题是貌似没办法直接返回applicationId，要从日志里面筛选好像，再就是没办法判断提交是否成功，貌似也是从日志来做，请问这个applicationId在提交的时候除了从日志筛选有其他的获取方式吗
> > > > > >
> > > > > > wxpcc <[hidden email]> 于2020年8月19日周三 下午4:09写道：
> > > > > >
> > > > > > > 大概可以用，YarnClusterDescriptor
> > > > > > >
> > > > > > > 命令行方式封装提交对于后续升级更加方便一些，个人建议
> > > > > > >
> > > > > > >
> > > > > > >
> > > > > > > --
> > > > > > > Sent from: http://apache-flink.147419.n8.nabble.com/
> > > > > >
> > > > >
> > > > >
> > > > > --
> > > > > Best Regards
> > > > >
> > > > > Jeff Zhang
> > > > >
> > > >
> > >
> >
>