flink 1.11 作业执行异常
Locked
 
|
Hi，
我使用目前最新的Flink 1.11 rc4来测试我的作业。报了如下异常： org.apache.flink.table.api.TableExecution: Failed to execute sql caused by : java.lang.IlleagalStateException: No ExecutorFactory found to execute the application. at org.apache.flink.core.execution.DefaultExecutorServiceLoader.getExecutorFactory(DefaultExecutorServiceLoader.java:84) 想请教下这个异常是啥原因？我使用1.10.1跑同样的逻辑，是没有异常的。 |
|
Administrator
|
能分享下复现的作业代码不？
Best, Jark On Mon, 6 Jul 2020 at 11:00, sunfulin <[hidden email]> wrote: > Hi， > 我使用目前最新的Flink 1.11 rc4来测试我的作业。报了如下异常： > org.apache.flink.table.api.TableExecution: Failed to execute sql > > > caused by : java.lang.IlleagalStateException: No ExecutorFactory found to > execute the application. > at > org.apache.flink.core.execution.DefaultExecutorServiceLoader.getExecutorFactory(DefaultExecutorServiceLoader.java:84) > > > 想请教下这个异常是啥原因？我使用1.10.1跑同样的逻辑，是没有异常的。 |
|
|
hi, jark 我的执行代码其实很简单，就是下面的执行逻辑。不知道是不是我缺了什么依赖配置。我debug看了下异常执行，是说Flink configuration里的DeployOptions.TARGET （execution.target）没有匹配到配置？之前貌似从没有关注过这个配置。 //构建StreamExecutionEnvironment public static final StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment(); //构建EnvironmentSettings 并指定Blink Planner private static final EnvironmentSettings bsSettings = EnvironmentSettings.newInstance().useBlinkPlanner().inStreamingMode().build(); //构建StreamTableEnvironment public static final StreamTableEnvironment tEnv = StreamTableEnvironment.create(env, bsSettings); tEnv.executeSql(“ddl sql”); //source注册成表 tEnv.createTemporaryView("test", ds, $("f0").as("id"), $("f1").as("first"), $("p").proctime()); //join语句 Table table = tEnv.sqlQuery("select b.* from test a left join my_dim FOR SYSTEM_TIME AS OF a.p AS b on a.first = b.userId"); //输出 tEnv.toAppendStream(table, Row.class).print("LookUpJoinJob"); env.execute("LookUpJoinJob"); 在 2020-07-06 14:59:17，"Jark Wu" <[hidden email]> 写道： >能分享下复现的作业代码不？ > >Best, >Jark > >On Mon, 6 Jul 2020 at 11:00, sunfulin <[hidden email]> wrote: > >> Hi， >> 我使用目前最新的Flink 1.11 rc4来测试我的作业。报了如下异常： >> org.apache.flink.table.api.TableExecution: Failed to execute sql >> >> >> caused by : java.lang.IlleagalStateException: No ExecutorFactory found to >> execute the application. >> at >> org.apache.flink.core.execution.DefaultExecutorServiceLoader.getExecutorFactory(DefaultExecutorServiceLoader.java:84) >> >> >> 想请教下这个异常是啥原因？我使用1.10.1跑同样的逻辑，是没有异常的。 |
|
|
hi.sunfulin
你有没有导入blink的planner呢，加入这个试试 <dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-table-planner-blink_${scala.binary.version}</artifactId> <version>${flink.version}</version> </dependency> sunfulin <[hidden email]> 于2020年7月7日周二 下午3:21写道： > > > > hi, jark > 我的执行代码其实很简单，就是下面的执行逻辑。不知道是不是我缺了什么依赖配置。我debug看了下异常执行，是说Flink > configuration里的DeployOptions.TARGET > （execution.target）没有匹配到配置？之前貌似从没有关注过这个配置。 > > > //构建StreamExecutionEnvironment > public static final StreamExecutionEnvironment env = > StreamExecutionEnvironment.getExecutionEnvironment(); > > //构建EnvironmentSettings 并指定Blink Planner > private static final EnvironmentSettings bsSettings = > EnvironmentSettings.newInstance().useBlinkPlanner().inStreamingMode().build(); > > //构建StreamTableEnvironment > public static final StreamTableEnvironment tEnv = > StreamTableEnvironment.create(env, bsSettings); > > > > > > tEnv.executeSql(“ddl sql”); > > > > > //source注册成表 > > tEnv.createTemporaryView("test", ds, $("f0").as("id"), > $("f1").as("first"), $("p").proctime()); > > > > > //join语句 > > Table table = tEnv.sqlQuery("select b.* from test a left join > my_dim FOR SYSTEM_TIME AS OF a.p AS b on a.first = b.userId"); > > > > > //输出 > > tEnv.toAppendStream(table, Row.class).print("LookUpJoinJob"); > > > > > env.execute("LookUpJoinJob"); > > > > > > > > > 在 2020-07-06 14:59:17，"Jark Wu" <[hidden email]> 写道： > >能分享下复现的作业代码不？ > > > >Best, > >Jark > > > >On Mon, 6 Jul 2020 at 11:00, sunfulin <[hidden email]> wrote: > > > >> Hi， > >> 我使用目前最新的Flink 1.11 rc4来测试我的作业。报了如下异常： > >> org.apache.flink.table.api.TableExecution: Failed to execute sql > >> > >> > >> caused by : java.lang.IlleagalStateException: No ExecutorFactory found > to > >> execute the application. > >> at > >> > org.apache.flink.core.execution.DefaultExecutorServiceLoader.getExecutorFactory(DefaultExecutorServiceLoader.java:84) > >> > >> > >> 想请教下这个异常是啥原因？我使用1.10.1跑同样的逻辑，是没有异常的。 > |
|
Administrator
|
Hi,
你是作业打包后在集群执行的，还是在 IDEA 中运行的呢？ Best, Jark On Tue, 7 Jul 2020 at 15:31, Jun Zhang <[hidden email]> wrote: > hi.sunfulin > 你有没有导入blink的planner呢，加入这个试试 > > <dependency> > <groupId>org.apache.flink</groupId> > <artifactId>flink-table-planner-blink_${scala.binary.version}</artifactId> > <version>${flink.version}</version> > </dependency> > > > sunfulin <[hidden email]> 于2020年7月7日周二 下午3:21写道： > >> >> >> >> hi, jark >> 我的执行代码其实很简单，就是下面的执行逻辑。不知道是不是我缺了什么依赖配置。我debug看了下异常执行，是说Flink >> configuration里的DeployOptions.TARGET >> （execution.target）没有匹配到配置？之前貌似从没有关注过这个配置。 >> >> >> //构建StreamExecutionEnvironment >> public static final StreamExecutionEnvironment env = >> StreamExecutionEnvironment.getExecutionEnvironment(); >> >> //构建EnvironmentSettings 并指定Blink Planner >> private static final EnvironmentSettings bsSettings = >> EnvironmentSettings.newInstance().useBlinkPlanner().inStreamingMode().build(); >> >> //构建StreamTableEnvironment >> public static final StreamTableEnvironment tEnv = >> StreamTableEnvironment.create(env, bsSettings); >> >> >> >> >> >> tEnv.executeSql(“ddl sql”); >> >> >> >> >> //source注册成表 >> >> tEnv.createTemporaryView("test", ds, $("f0").as("id"), >> $("f1").as("first"), $("p").proctime()); >> >> >> >> >> //join语句 >> >> Table table = tEnv.sqlQuery("select b.* from test a left join >> my_dim FOR SYSTEM_TIME AS OF a.p AS b on a.first = b.userId"); >> >> >> >> >> //输出 >> >> tEnv.toAppendStream(table, Row.class).print("LookUpJoinJob"); >> >> >> >> >> env.execute("LookUpJoinJob"); >> >> >> >> >> >> >> >> >> 在 2020-07-06 14:59:17，"Jark Wu" <[hidden email]> 写道： >> >能分享下复现的作业代码不？ >> > >> >Best, >> >Jark >> > >> >On Mon, 6 Jul 2020 at 11:00, sunfulin <[hidden email]> wrote: >> > >> >> Hi， >> >> 我使用目前最新的Flink 1.11 rc4来测试我的作业。报了如下异常： >> >> org.apache.flink.table.api.TableExecution: Failed to execute sql >> >> >> >> >> >> caused by : java.lang.IlleagalStateException: No ExecutorFactory found >> to >> >> execute the application. >> >> at >> >> >> org.apache.flink.core.execution.DefaultExecutorServiceLoader.getExecutorFactory(DefaultExecutorServiceLoader.java:84) >> >> >> >> >> >> 想请教下这个异常是啥原因？我使用1.10.1跑同样的逻辑，是没有异常的。 >> > |
|
|
hi,
@Jun Zhang 我一直使用的就是blink planner，这个jar包一直都有的。 @Jark Wu 我是在本地idea中直接运行的，还没有打包到集群跑。跟这个有关系么？ 在 2020-07-07 15:40:17，"Jark Wu" <[hidden email]> 写道： >Hi, > >你是作业打包后在集群执行的，还是在 IDEA 中运行的呢？ > >Best, >Jark > >On Tue, 7 Jul 2020 at 15:31, Jun Zhang <[hidden email]> wrote: > >> hi.sunfulin >> 你有没有导入blink的planner呢，加入这个试试 >> >> <dependency> >> <groupId>org.apache.flink</groupId> >> <artifactId>flink-table-planner-blink_${scala.binary.version}</artifactId> >> <version>${flink.version}</version> >> </dependency> >> >> >> sunfulin <[hidden email]> 于2020年7月7日周二 下午3:21写道： >> >>> >>> >>> >>> hi, jark >>> 我的执行代码其实很简单，就是下面的执行逻辑。不知道是不是我缺了什么依赖配置。我debug看了下异常执行，是说Flink >>> configuration里的DeployOptions.TARGET >>> （execution.target）没有匹配到配置？之前貌似从没有关注过这个配置。 >>> >>> >>> //构建StreamExecutionEnvironment >>> public static final StreamExecutionEnvironment env = >>> StreamExecutionEnvironment.getExecutionEnvironment(); >>> >>> //构建EnvironmentSettings 并指定Blink Planner >>> private static final EnvironmentSettings bsSettings = >>> EnvironmentSettings.newInstance().useBlinkPlanner().inStreamingMode().build(); >>> >>> //构建StreamTableEnvironment >>> public static final StreamTableEnvironment tEnv = >>> StreamTableEnvironment.create(env, bsSettings); >>> >>> >>> >>> >>> >>> tEnv.executeSql(“ddl sql”); >>> >>> >>> >>> >>> //source注册成表 >>> >>> tEnv.createTemporaryView("test", ds, $("f0").as("id"), >>> $("f1").as("first"), $("p").proctime()); >>> >>> >>> >>> >>> //join语句 >>> >>> Table table = tEnv.sqlQuery("select b.* from test a left join >>> my_dim FOR SYSTEM_TIME AS OF a.p AS b on a.first = b.userId"); >>> >>> >>> >>> >>> //输出 >>> >>> tEnv.toAppendStream(table, Row.class).print("LookUpJoinJob"); >>> >>> >>> >>> >>> env.execute("LookUpJoinJob"); >>> >>> >>> >>> >>> >>> >>> >>> >>> 在 2020-07-06 14:59:17，"Jark Wu" <[hidden email]> 写道： >>> >能分享下复现的作业代码不？ >>> > >>> >Best, >>> >Jark >>> > >>> >On Mon, 6 Jul 2020 at 11:00, sunfulin <[hidden email]> wrote: >>> > >>> >> Hi， >>> >> 我使用目前最新的Flink 1.11 rc4来测试我的作业。报了如下异常： >>> >> org.apache.flink.table.api.TableExecution: Failed to execute sql >>> >> >>> >> >>> >> caused by : java.lang.IlleagalStateException: No ExecutorFactory found >>> to >>> >> execute the application. >>> >> at >>> >> >>> org.apache.flink.core.execution.DefaultExecutorServiceLoader.getExecutorFactory(DefaultExecutorServiceLoader.java:84) >>> >> >>> >> >>> >> 想请教下这个异常是啥原因？我使用1.10.1跑同样的逻辑，是没有异常的。 >>> >> |
|
Administrator
|
如果是在 IDEA 中运行的话，你看看 blink planner 这个依赖的 scope 是不是被 provided 掉了？ 去掉 provided
再试试看？ Best, Jark On Tue, 7 Jul 2020 at 18:01, sunfulin <[hidden email]> wrote: > hi, > @Jun Zhang 我一直使用的就是blink planner，这个jar包一直都有的。 > > @Jark Wu 我是在本地idea中直接运行的，还没有打包到集群跑。跟这个有关系么？ > > > > > > > > > > > > > > > > > > > 在 2020-07-07 15:40:17，"Jark Wu" <[hidden email]> 写道： > >Hi, > > > >你是作业打包后在集群执行的，还是在 IDEA 中运行的呢？ > > > >Best, > >Jark > > > >On Tue, 7 Jul 2020 at 15:31, Jun Zhang <[hidden email]> > wrote: > > > >> hi.sunfulin > >> 你有没有导入blink的planner呢，加入这个试试 > >> > >> <dependency> > >> <groupId>org.apache.flink</groupId> > >> > <artifactId>flink-table-planner-blink_${scala.binary.version}</artifactId> > >> <version>${flink.version}</version> > >> </dependency> > >> > >> > >> sunfulin <[hidden email]> 于2020年7月7日周二 下午3:21写道： > >> > >>> > >>> > >>> > >>> hi, jark > >>> 我的执行代码其实很简单，就是下面的执行逻辑。不知道是不是我缺了什么依赖配置。我debug看了下异常执行，是说Flink > >>> configuration里的DeployOptions.TARGET > >>> （execution.target）没有匹配到配置？之前貌似从没有关注过这个配置。 > >>> > >>> > >>> //构建StreamExecutionEnvironment > >>> public static final StreamExecutionEnvironment env = > >>> StreamExecutionEnvironment.getExecutionEnvironment(); > >>> > >>> //构建EnvironmentSettings 并指定Blink Planner > >>> private static final EnvironmentSettings bsSettings = > >>> > EnvironmentSettings.newInstance().useBlinkPlanner().inStreamingMode().build(); > >>> > >>> //构建StreamTableEnvironment > >>> public static final StreamTableEnvironment tEnv = > >>> StreamTableEnvironment.create(env, bsSettings); > >>> > >>> > >>> > >>> > >>> > >>> tEnv.executeSql(“ddl sql”); > >>> > >>> > >>> > >>> > >>> //source注册成表 > >>> > >>> tEnv.createTemporaryView("test", ds, $("f0").as("id"), > >>> $("f1").as("first"), $("p").proctime()); > >>> > >>> > >>> > >>> > >>> //join语句 > >>> > >>> Table table = tEnv.sqlQuery("select b.* from test a left join > >>> my_dim FOR SYSTEM_TIME AS OF a.p AS b on a.first = b.userId"); > >>> > >>> > >>> > >>> > >>> //输出 > >>> > >>> tEnv.toAppendStream(table, Row.class).print("LookUpJoinJob"); > >>> > >>> > >>> > >>> > >>> env.execute("LookUpJoinJob"); > >>> > >>> > >>> > >>> > >>> > >>> > >>> > >>> > >>> 在 2020-07-06 14:59:17，"Jark Wu" <[hidden email]> 写道： > >>> >能分享下复现的作业代码不？ > >>> > > >>> >Best, > >>> >Jark > >>> > > >>> >On Mon, 6 Jul 2020 at 11:00, sunfulin <[hidden email]> wrote: > >>> > > >>> >> Hi， > >>> >> 我使用目前最新的Flink 1.11 rc4来测试我的作业。报了如下异常： > >>> >> org.apache.flink.table.api.TableExecution: Failed to execute sql > >>> >> > >>> >> > >>> >> caused by : java.lang.IlleagalStateException: No ExecutorFactory > found > >>> to > >>> >> execute the application. > >>> >> at > >>> >> > >>> > org.apache.flink.core.execution.DefaultExecutorServiceLoader.getExecutorFactory(DefaultExecutorServiceLoader.java:84) > >>> >> > >>> >> > >>> >> 想请教下这个异常是啥原因？我使用1.10.1跑同样的逻辑，是没有异常的。 > >>> > >> > |
|
|
hi, 我的pom文件本地执行时，scope的provided都是去掉的。 <dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-table-planner-blink_${scala.binary.version}</artifactId> <version>${flink.version}</version> </dependency> 确实比较诡异。org.apache.flink.core.execution.DefaultExecutorServiceLoader.getExecutorFactory(DefaultExecutorServiceLoader.java:84) 这个异常在啥情况下会触发到。 在 2020-07-07 18:10:58，"Jark Wu" <[hidden email]> 写道： >如果是在 IDEA 中运行的话，你看看 blink planner 这个依赖的 scope 是不是被 provided 掉了？ 去掉 provided >再试试看？ > >Best, >Jark > >On Tue, 7 Jul 2020 at 18:01, sunfulin <[hidden email]> wrote: > >> hi, >> @Jun Zhang 我一直使用的就是blink planner，这个jar包一直都有的。 >> >> @Jark Wu 我是在本地idea中直接运行的，还没有打包到集群跑。跟这个有关系么？ >> >> >> >> >> >> >> >> >> >> >> >> >> >> >> >> >> >> >> 在 2020-07-07 15:40:17，"Jark Wu" <[hidden email]> 写道： >> >Hi, >> > >> >你是作业打包后在集群执行的，还是在 IDEA 中运行的呢？ >> > >> >Best, >> >Jark >> > >> >On Tue, 7 Jul 2020 at 15:31, Jun Zhang <[hidden email]> >> wrote: >> > >> >> hi.sunfulin >> >> 你有没有导入blink的planner呢，加入这个试试 >> >> >> >> <dependency> >> >> <groupId>org.apache.flink</groupId> >> >> >> <artifactId>flink-table-planner-blink_${scala.binary.version}</artifactId> >> >> <version>${flink.version}</version> >> >> </dependency> >> >> >> >> >> >> sunfulin <[hidden email]> 于2020年7月7日周二 下午3:21写道： >> >> >> >>> >> >>> >> >>> >> >>> hi, jark >> >>> 我的执行代码其实很简单，就是下面的执行逻辑。不知道是不是我缺了什么依赖配置。我debug看了下异常执行，是说Flink >> >>> configuration里的DeployOptions.TARGET >> >>> （execution.target）没有匹配到配置？之前貌似从没有关注过这个配置。 >> >>> >> >>> >> >>> //构建StreamExecutionEnvironment >> >>> public static final StreamExecutionEnvironment env = >> >>> StreamExecutionEnvironment.getExecutionEnvironment(); >> >>> >> >>> //构建EnvironmentSettings 并指定Blink Planner >> >>> private static final EnvironmentSettings bsSettings = >> >>> >> EnvironmentSettings.newInstance().useBlinkPlanner().inStreamingMode().build(); >> >>> >> >>> //构建StreamTableEnvironment >> >>> public static final StreamTableEnvironment tEnv = >> >>> StreamTableEnvironment.create(env, bsSettings); >> >>> >> >>> >> >>> >> >>> >> >>> >> >>> tEnv.executeSql(“ddl sql”); >> >>> >> >>> >> >>> >> >>> >> >>> //source注册成表 >> >>> >> >>> tEnv.createTemporaryView("test", ds, $("f0").as("id"), >> >>> $("f1").as("first"), $("p").proctime()); >> >>> >> >>> >> >>> >> >>> >> >>> //join语句 >> >>> >> >>> Table table = tEnv.sqlQuery("select b.* from test a left join >> >>> my_dim FOR SYSTEM_TIME AS OF a.p AS b on a.first = b.userId"); >> >>> >> >>> >> >>> >> >>> >> >>> //输出 >> >>> >> >>> tEnv.toAppendStream(table, Row.class).print("LookUpJoinJob"); >> >>> >> >>> >> >>> >> >>> >> >>> env.execute("LookUpJoinJob"); >> >>> >> >>> >> >>> >> >>> >> >>> >> >>> >> >>> >> >>> >> >>> 在 2020-07-06 14:59:17，"Jark Wu" <[hidden email]> 写道： >> >>> >能分享下复现的作业代码不？ >> >>> > >> >>> >Best, >> >>> >Jark >> >>> > >> >>> >On Mon, 6 Jul 2020 at 11:00, sunfulin <[hidden email]> wrote: >> >>> > >> >>> >> Hi， >> >>> >> 我使用目前最新的Flink 1.11 rc4来测试我的作业。报了如下异常： >> >>> >> org.apache.flink.table.api.TableExecution: Failed to execute sql >> >>> >> >> >>> >> >> >>> >> caused by : java.lang.IlleagalStateException: No ExecutorFactory >> found >> >>> to >> >>> >> execute the application. >> >>> >> at >> >>> >> >> >>> >> org.apache.flink.core.execution.DefaultExecutorServiceLoader.getExecutorFactory(DefaultExecutorServiceLoader.java:84) >> >>> >> >> >>> >> >> >>> >> 想请教下这个异常是啥原因？我使用1.10.1跑同样的逻辑，是没有异常的。 >> >>> >> >> >> |
Re: Re: Re: Re: flink 1.11 作业执行异常
|
|
Hi
从这个报错看上去是尝试通过 serviceLoader 加载一些 factory 的时候出错了（找不到），可以看看对应的 module 的 resources 文件下是否有对应的 resource 文件 Best, Congxian sunfulin <[hidden email]> 于2020年7月7日周二 下午6:29写道： > > > > hi, > 我的pom文件本地执行时，scope的provided都是去掉的。 > <dependency> > <groupId>org.apache.flink</groupId> > > <artifactId>flink-table-planner-blink_${scala.binary.version}</artifactId> > <version>${flink.version}</version> > </dependency> > > > 确实比较诡异。org.apache.flink.core.execution.DefaultExecutorServiceLoader.getExecutorFactory(DefaultExecutorServiceLoader.java:84) > 这个异常在啥情况下会触发到。 > > > > > > > > > > > > > > > 在 2020-07-07 18:10:58，"Jark Wu" <[hidden email]> 写道： > >如果是在 IDEA 中运行的话，你看看 blink planner 这个依赖的 scope 是不是被 provided 掉了？ 去掉 > provided > >再试试看？ > > > >Best, > >Jark > > > >On Tue, 7 Jul 2020 at 18:01, sunfulin <[hidden email]> wrote: > > > >> hi, > >> @Jun Zhang 我一直使用的就是blink planner，这个jar包一直都有的。 > >> > >> @Jark Wu 我是在本地idea中直接运行的，还没有打包到集群跑。跟这个有关系么？ > >> > >> > >> > >> > >> > >> > >> > >> > >> > >> > >> > >> > >> > >> > >> > >> > >> > >> > >> 在 2020-07-07 15:40:17，"Jark Wu" <[hidden email]> 写道： > >> >Hi, > >> > > >> >你是作业打包后在集群执行的，还是在 IDEA 中运行的呢？ > >> > > >> >Best, > >> >Jark > >> > > >> >On Tue, 7 Jul 2020 at 15:31, Jun Zhang <[hidden email]> > >> wrote: > >> > > >> >> hi.sunfulin > >> >> 你有没有导入blink的planner呢，加入这个试试 > >> >> > >> >> <dependency> > >> >> <groupId>org.apache.flink</groupId> > >> >> > >> > <artifactId>flink-table-planner-blink_${scala.binary.version}</artifactId> > >> >> <version>${flink.version}</version> > >> >> </dependency> > >> >> > >> >> > >> >> sunfulin <[hidden email]> 于2020年7月7日周二 下午3:21写道： > >> >> > >> >>> > >> >>> > >> >>> > >> >>> hi, jark > >> >>> 我的执行代码其实很简单，就是下面的执行逻辑。不知道是不是我缺了什么依赖配置。我debug看了下异常执行，是说Flink > >> >>> configuration里的DeployOptions.TARGET > >> >>> （execution.target）没有匹配到配置？之前貌似从没有关注过这个配置。 > >> >>> > >> >>> > >> >>> //构建StreamExecutionEnvironment > >> >>> public static final StreamExecutionEnvironment env = > >> >>> StreamExecutionEnvironment.getExecutionEnvironment(); > >> >>> > >> >>> //构建EnvironmentSettings 并指定Blink Planner > >> >>> private static final EnvironmentSettings bsSettings = > >> >>> > >> > EnvironmentSettings.newInstance().useBlinkPlanner().inStreamingMode().build(); > >> >>> > >> >>> //构建StreamTableEnvironment > >> >>> public static final StreamTableEnvironment tEnv = > >> >>> StreamTableEnvironment.create(env, bsSettings); > >> >>> > >> >>> > >> >>> > >> >>> > >> >>> > >> >>> tEnv.executeSql(“ddl sql”); > >> >>> > >> >>> > >> >>> > >> >>> > >> >>> //source注册成表 > >> >>> > >> >>> tEnv.createTemporaryView("test", ds, $("f0").as("id"), > >> >>> $("f1").as("first"), $("p").proctime()); > >> >>> > >> >>> > >> >>> > >> >>> > >> >>> //join语句 > >> >>> > >> >>> Table table = tEnv.sqlQuery("select b.* from test a left > join > >> >>> my_dim FOR SYSTEM_TIME AS OF a.p AS b on a.first = b.userId"); > >> >>> > >> >>> > >> >>> > >> >>> > >> >>> //输出 > >> >>> > >> >>> tEnv.toAppendStream(table, > Row.class).print("LookUpJoinJob"); > >> >>> > >> >>> > >> >>> > >> >>> > >> >>> env.execute("LookUpJoinJob"); > >> >>> > >> >>> > >> >>> > >> >>> > >> >>> > >> >>> > >> >>> > >> >>> > >> >>> 在 2020-07-06 14:59:17，"Jark Wu" <[hidden email]> 写道： > >> >>> >能分享下复现的作业代码不？ > >> >>> > > >> >>> >Best, > >> >>> >Jark > >> >>> > > >> >>> >On Mon, 6 Jul 2020 at 11:00, sunfulin <[hidden email]> > wrote: > >> >>> > > >> >>> >> Hi， > >> >>> >> 我使用目前最新的Flink 1.11 rc4来测试我的作业。报了如下异常： > >> >>> >> org.apache.flink.table.api.TableExecution: Failed to execute sql > >> >>> >> > >> >>> >> > >> >>> >> caused by : java.lang.IlleagalStateException: No ExecutorFactory > >> found > >> >>> to > >> >>> >> execute the application. > >> >>> >> at > >> >>> >> > >> >>> > >> > org.apache.flink.core.execution.DefaultExecutorServiceLoader.getExecutorFactory(DefaultExecutorServiceLoader.java:84) > >> >>> >> > >> >>> >> > >> >>> >> 想请教下这个异常是啥原因？我使用1.10.1跑同样的逻辑，是没有异常的。 > >> >>> > >> >> > >> > |
|
|
In reply to this post by sunfulin
我在1.11.0中遇到了同样的问题， pom中加了下面的依赖就没解决了
dependency groupIdorg.apache.flink/groupId artifactIdflink-clients_${scala.binary.version}/artifactId version${flink.version}/version /dependency 原始邮件 发件人:Congxian [hidden email] 收件人:[hidden email] 抄送:Jark [hidden email]; Jun [hidden email] 发送时间:2020年7月7日(周二) 19:35 主题:Re: Re: Re: Re: flink 1.11 作业执行异常 Hi 从这个报错看上去是尝试通过 serviceLoader 加载一些 factory 的时候出错了（找不到），可以看看对应的 module 的 resources 文件下是否有对应的 resource 文件 Best, Congxian sunfulin [hidden email] 于2020年7月7日周二 下午6:29写道： hi, 我的pom文件本地执行时，scope的provided都是去掉的。 dependency groupIdorg.apache.flink/groupId artifactIdflink-table-planner-blink_${scala.binary.version}/artifactId version${flink.version}/version /dependency 确实比较诡异。org.apache.flink.core.execution.DefaultExecutorServiceLoader.getExecutorFactory(DefaultExecutorServiceLoader.java:84) 这个异常在啥情况下会触发到。 在 2020-07-07 18:10:58，"Jark Wu" [hidden email] 写道： 如果是在 IDEA 中运行的话，你看看 blink planner 这个依赖的 scope 是不是被 provided 掉了？ 去掉 provided 再试试看？ Best, Jark On Tue, 7 Jul 2020 at 18:01, sunfulin [hidden email] wrote: hi, @Jun Zhang 我一直使用的就是blink planner，这个jar包一直都有的。 @Jark Wu 我是在本地idea中直接运行的，还没有打包到集群跑。跟这个有关系么？ 在 2020-07-07 15:40:17，"Jark Wu" [hidden email] 写道： Hi, 你是作业打包后在集群执行的，还是在 IDEA 中运行的呢？ Best, Jark On Tue, 7 Jul 2020 at 15:31, Jun Zhang [hidden email] wrote: hi.sunfulin 你有没有导入blink的planner呢，加入这个试试 dependency groupIdorg.apache.flink/groupId artifactIdflink-table-planner-blink_${scala.binary.version}/artifactId version${flink.version}/version /dependency sunfulin [hidden email] 于2020年7月7日周二 下午3:21写道： hi, jark 我的执行代码其实很简单，就是下面的执行逻辑。不知道是不是我缺了什么依赖配置。我debug看了下异常执行，是说Flink configuration里的DeployOptions.TARGET （execution.target）没有匹配到配置？之前貌似从没有关注过这个配置。 //构建StreamExecutionEnvironment public static final StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment(); //构建EnvironmentSettings 并指定Blink Planner private static final EnvironmentSettings bsSettings = EnvironmentSettings.newInstance().useBlinkPlanner().inStreamingMode().build(); //构建StreamTableEnvironment public static final StreamTableEnvironment tEnv = StreamTableEnvironment.create(env, bsSettings); tEnv.executeSql(“ddl sql”); //source注册成表 tEnv.createTemporaryView("test", ds, $("f0").as("id"), $("f1").as("first"), $("p").proctime()); //join语句 Table table = tEnv.sqlQuery("select b.* from test a left join my_dim FOR SYSTEM_TIME AS OF a.p AS b on a.first = b.userId"); //输出 tEnv.toAppendStream(table, Row.class).print("LookUpJoinJob"); env.execute("LookUpJoinJob"); 在 2020-07-06 14:59:17，"Jark Wu" [hidden email] 写道： 能分享下复现的作业代码不？ Best, Jark On Mon, 6 Jul 2020 at 11:00, sunfulin [hidden email] wrote: Hi， 我使用目前最新的Flink 1.11 rc4来测试我的作业。报了如下异常： org.apache.flink.table.api.TableExecution: Failed to execute sql caused by : java.lang.IlleagalStateException: No ExecutorFactory found to execute the application. at org.apache.flink.core.execution.DefaultExecutorServiceLoader.getExecutorFactory(DefaultExecutorServiceLoader.java:84) 想请教下这个异常是啥原因？我使用1.10.1跑同样的逻辑，是没有异常的。 |
|
|
hi, noake
感谢分享。我加了这个依赖后也OK了。周知下大家。 在 2020-07-07 22:15:05，"noake" <[hidden email]> 写道： >我在1.11.0中遇到了同样的问题， pom中加了下面的依赖就没解决了 >dependency > groupIdorg.apache.flink/groupId > artifactIdflink-clients_${scala.binary.version}/artifactId > version${flink.version}/version >/dependency > > >原始邮件 >发件人:Congxian [hidden email] >收件人:[hidden email] >抄送:Jark [hidden email]; Jun [hidden email] >发送时间:2020年7月7日(周二) 19:35 >主题:Re: Re: Re: Re: flink 1.11 作业执行异常 > > >Hi 从这个报错看上去是尝试通过 serviceLoader 加载一些 factory 的时候出错了（找不到），可以看看对应的 module 的 resources 文件下是否有对应的 resource 文件 Best, Congxian sunfulin [hidden email] 于2020年7月7日周二 下午6:29写道： hi, 我的pom文件本地执行时，scope的provided都是去掉的。 dependency groupIdorg.apache.flink/groupId artifactIdflink-table-planner-blink_${scala.binary.version}/artifactId version${flink.version}/version /dependency 确实比较诡异。org.apache.flink.core.execution.DefaultExecutorServiceLoader.getExecutorFactory(DefaultExecutorServiceLoader.java:84) 这个异常在啥情况下会触发到。 在 2020-07-07 18:10:58，"Jark Wu" [hidden email] 写道： 如果是在 IDEA 中运行的话，你看看 blink planner 这个依赖的 scope 是不是被 provided 掉了？ 去掉 provided 再试试看？ Best, Jark On Tue, 7 Jul 2020 at 18:01, sunfulin [hidden email] wrote: hi, @Jun Zhang 我一直使用的就是blink planner，这个jar包一直都有的。 @Jark Wu 我是在本地idea中直接运行的，还没有打包到集群跑。跟这个有关系么？ 在 2020-07-07 15:40:17，"Jark Wu" [hidden email] 写道： Hi, 你是作业打包后在集群执行的，还是在 IDEA 中运行的呢？ Best, Jark On Tue, 7 Jul 2020 at 15:31, Jun Zhang [hidden email] wrote: hi.sunfulin 你有没有导入blink的planner呢，加入这个试试 dependency groupIdorg.apache.flink/groupId artifactIdflink-table-planner-blink_${scala.binary.version}/artifactId version${flink.version}/version /dependency sunfulin [hidden email] 于2020年7月7日周二 下午3:21写道： hi, jark 我的执行代码其实很简单，就是下面的执行逻辑。不知道是不是我缺了什么依赖配置。我debug看了下异常执行，是说Flink configuration里的DeployOptions.TARGET （execution.target）没有匹配到配置？之前貌似从没有关注过这个配置。 //构建StreamExecutionEnvironment public static final StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment(); //构建EnvironmentSettings 并指定Blink Planner private static final EnvironmentSettings bsSettings = EnvironmentSettings.newInstance().useBlinkPlanner().inStreamingMode().build(); //构建StreamTableEnvironment public static final StreamTableEnvironment tEnv = StreamTableEnvironment.create(env, bsSettings); tEnv.executeSql(“ddl sql”); //source注册成表 tEnv.createTemporaryView("test", ds, $("f0").as("id"), $("f1").as("first"), $("p").proctime()); //join语句 Table table = tEnv.sqlQuery("select b.* from test a left join my_dim FOR SYSTEM_TIME AS OF a.p AS b on a.first = b.userId"); //输出 tEnv.toAppendStream(table, Row.class).print("LookUpJoinJob"); env.execute("LookUpJoinJob"); 在 2020-07-06 14:59:17，"Jark Wu" [hidden email] 写道： 能分享下复现的作业代码不？ Best, Jark On Mon, 6 Jul 2020 at 11:00, sunfulin [hidden email] wrote: Hi， 我使用目前最新的Flink 1.11 rc4来测试我的作业。报了如下异常： org.apache.flink.table.api.TableExecution: Failed to execute sql caused by : java.lang.IlleagalStateException: No ExecutorFactory found to execute the application. at org.apache.flink.core.execution.DefaultExecutorServiceLoader.getExecutorFactory(DefaultExecutorServiceLoader.java:84) 想请教下这个异常是啥原因？我使用1.10.1跑同样的逻辑，是没有异常的。 |
|
Administrator
|
估计是这个导致的：
https://ci.apache.org/projects/flink/flink-docs-master/release-notes/flink-1.11.html#reversed-dependency-from-flink-streaming-java-to-flink-client-flink-15090 On Wed, 8 Jul 2020 at 09:21, sunfulin <[hidden email]> wrote: > hi, noake > 感谢分享。我加了这个依赖后也OK了。周知下大家。 > > > > > > > > > > > > > > > > > > 在 2020-07-07 22:15:05，"noake" <[hidden email]> 写道： > >我在1.11.0中遇到了同样的问题， pom中加了下面的依赖就没解决了 > >dependency > > groupIdorg.apache.flink/groupId > > artifactIdflink-clients_${scala.binary.version}/artifactId > > version${flink.version}/version > >/dependency > > > > > >原始邮件 > >发件人:Congxian [hidden email] > >收件人:[hidden email] > >抄送:Jark [hidden email]; Jun [hidden email] > >发送时间:2020年7月7日(周二) 19:35 > >主题:Re: Re: Re: Re: flink 1.11 作业执行异常 > > > > > >Hi 从这个报错看上去是尝试通过 serviceLoader 加载一些 factory 的时候出错了（找不到），可以看看对应的 module 的 > resources 文件下是否有对应的 resource 文件 Best, Congxian sunfulin > [hidden email] 于2020年7月7日周二 下午6:29写道： hi, > 我的pom文件本地执行时，scope的provided都是去掉的。 dependency > groupIdorg.apache.flink/groupId > artifactIdflink-table-planner-blink_${scala.binary.version}/artifactId > version${flink.version}/version /dependency > 确实比较诡异。org.apache.flink.core.execution.DefaultExecutorServiceLoader.getExecutorFactory(DefaultExecutorServiceLoader.java:84) > 这个异常在啥情况下会触发到。 在 2020-07-07 18:10:58，"Jark Wu" > [hidden email] 写道： 如果是在 IDEA 中运行的话，你看看 blink planner 这个依赖的 scope 是不是被 > provided 掉了？ 去掉 provided 再试试看？ Best, Jark On Tue, 7 Jul 2020 at > 18:01, sunfulin [hidden email] wrote: hi, @Jun Zhang > 我一直使用的就是blink planner，这个jar包一直都有的。 @Jark Wu > 我是在本地idea中直接运行的，还没有打包到集群跑。跟这个有关系么？ 在 > 2020-07-07 15:40:17，"Jark Wu" [hidden email] 写道： Hi, > 你是作业打包后在集群执行的，还是在 IDEA 中运行的呢？ Best, Jark On Tue, 7 Jul 2020 at > 15:31, Jun Zhang [hidden email] wrote: hi.sunfulin > 你有没有导入blink的planner呢，加入这个试试 dependency > groupIdorg.apache.flink/groupId > artifactIdflink-table-planner-blink_${scala.binary.version}/artifactId > version${flink.version}/version /dependency sunfulin > [hidden email] 于2020年7月7日周二 下午3:21写道： hi, jark > 我的执行代码其实很简单，就是下面的执行逻辑。不知道是不是我缺了什么依赖配置。我debug看了下异常执行，是说Flink > configuration里的DeployOptions.TARGET > （execution.target）没有匹配到配置？之前貌似从没有关注过这个配置。 > //构建StreamExecutionEnvironment public static final > StreamExecutionEnvironment env = > StreamExecutionEnvironment.getExecutionEnvironment(); > //构建EnvironmentSettings 并指定Blink Planner private static final > EnvironmentSettings bsSettings = > EnvironmentSettings.newInstance().useBlinkPlanner().inStreamingMode().build(); > //构建StreamTableEnvironment public static final > StreamTableEnvironment tEnv = StreamTableEnvironment.create(env, > bsSettings); tEnv.executeSql(“ddl sql”); > //source注册成表 tEnv.createTemporaryView("test", ds, $("f0").as("id"), > $("f1").as("first"), $("p").proctime()); //join语句 > Table table = tEnv.sqlQuery("select b.* from test a left join my_dim > FOR SYSTEM_TIME AS OF a.p AS b on a.first = b.userId"); > //输出 tEnv.toAppendStream(table, Row.class).print("LookUpJoinJob"); > env.execute("LookUpJoinJob"); 在 > 2020-07-06 14:59:17，"Jark Wu" [hidden email] 写道： 能分享下复现的作业代码不？ > Best, Jark On Mon, 6 Jul 2020 at 11:00, sunfulin > [hidden email] wrote: Hi， 我使用目前最新的Flink 1.11 > rc4来测试我的作业。报了如下异常： org.apache.flink.table.api.TableExecution: Failed to > execute sql caused by : java.lang.IlleagalStateException: No > ExecutorFactory found to execute the application. at > org.apache.flink.core.execution.DefaultExecutorServiceLoader.getExecutorFactory(DefaultExecutorServiceLoader.java:84) > 想请教下这个异常是啥原因？我使用1.10.1跑同样的逻辑，是没有异常的。 > |
«
Return to Apache Flink 中文用户邮件列表
|
1 view|%1 views
| Free forum by Nabble | Edit this page |