Hi,请问大家知道怎么更改flink默认的任务调度方式吗?
|
我不是很清楚,不过难度应该很大,不然社区早改了。当前任务经常导致机器资源不均衡,这个问题很常见。
penguin. <[hidden email]> 于2021年1月6日周三 上午11:15写道: > Hi,请问大家知道怎么更改flink默认的任务调度方式吗? |
我在jira上看到好像有人在做,但是好像无法获取到更多的信息。也不知道他们是怎么做的。主要应该是找到进行任务调度那块的代码,不过源码注释好像很少,很困难。
|
是的,之前有人给过我回复,说当前flink的调度信息不足,导致无法做到很理想的调度。
penguin. <[hidden email]> 于2021年1月7日周四 上午10:11写道: > > 我在jira上看到好像有人在做,但是好像无法获取到更多的信息。也不知道他们是怎么做的。主要应该是找到进行任务调度那块的代码,不过源码注释好像很少,很困难。 > > > > > > > > > > 在 2021-01-06 13:06:20,"赵一旦" <[hidden email]> 写道: > >我不是很清楚,不过难度应该很大,不然社区早改了。当前任务经常导致机器资源不均衡,这个问题很常见。 > > > >penguin. <[hidden email]> 于2021年1月6日周三 上午11:15写道: > > > >> Hi,请问大家知道怎么更改flink默认的任务调度方式吗? > > > > > |
我在知网的一篇论文中看到有作者做的flink任务调度,但是发了邮件很久也没人回复。 在 2021-01-07 10:21:27,"赵一旦" <[hidden email]> 写道: >是的,之前有人给过我回复,说当前flink的调度信息不足,导致无法做到很理想的调度。 > >penguin. <[hidden email]> 于2021年1月7日周四 上午10:11写道: > >> >> 我在jira上看到好像有人在做,但是好像无法获取到更多的信息。也不知道他们是怎么做的。主要应该是找到进行任务调度那块的代码,不过源码注释好像很少,很困难。 >> >> >> >> >> >> >> >> >> >> 在 2021-01-06 13:06:20,"赵一旦" <[hidden email]> 写道: >> >我不是很清楚,不过难度应该很大,不然社区早改了。当前任务经常导致机器资源不均衡,这个问题很常见。 >> > >> >penguin. <[hidden email]> 于2021年1月6日周三 上午11:15写道: >> > >> >> Hi,请问大家知道怎么更改flink默认的任务调度方式吗? >> >> >> >> >> |
你说的是任务调度有2层含义。一种任务调度平台(这个很常见)。还是flink自身的task的schedule,这个是很复杂。
penguin. <[hidden email]> 于2021年1月7日周四 上午10:32写道: > > > > 我在知网的一篇论文中看到有作者做的flink任务调度,但是发了邮件很久也没人回复。 > > > > > > > > > > > > > > > 在 2021-01-07 10:21:27,"赵一旦" <[hidden email]> 写道: > >是的,之前有人给过我回复,说当前flink的调度信息不足,导致无法做到很理想的调度。 > > > >penguin. <[hidden email]> 于2021年1月7日周四 上午10:11写道: > > > >> > >> > 我在jira上看到好像有人在做,但是好像无法获取到更多的信息。也不知道他们是怎么做的。主要应该是找到进行任务调度那块的代码,不过源码注释好像很少,很困难。 > >> > >> > >> > >> > >> > >> > >> > >> > >> > >> 在 2021-01-06 13:06:20,"赵一旦" <[hidden email]> 写道: > >> >我不是很清楚,不过难度应该很大,不然社区早改了。当前任务经常导致机器资源不均衡,这个问题很常见。 > >> > > >> >penguin. <[hidden email]> 于2021年1月6日周三 上午11:15写道: > >> > > >> >> Hi,请问大家知道怎么更改flink默认的任务调度方式吗? > >> > >> > >> > >> > >> > |
赵一旦:
你说的任务调度平台是指通过这种平台来完全控制flink中的task到具体某个节点的调度吗? 我想的是flink自己内部的task到节点的调度。比如说通过修改flink现在的调度部分的代码来实现。 是不是这两种都可以用来实现 根据我们自己的需求来决定将task具体调度哪个节点中。 在 2021-01-07 12:24:42,"赵一旦" <[hidden email]> 写道: >你说的是任务调度有2层含义。一种任务调度平台(这个很常见)。还是flink自身的task的schedule,这个是很复杂。 > >penguin. <[hidden email]> 于2021年1月7日周四 上午10:32写道: > >> >> >> >> 我在知网的一篇论文中看到有作者做的flink任务调度,但是发了邮件很久也没人回复。 >> >> >> >> >> >> >> >> >> >> >> >> >> >> >> 在 2021-01-07 10:21:27,"赵一旦" <[hidden email]> 写道: >> >是的,之前有人给过我回复,说当前flink的调度信息不足,导致无法做到很理想的调度。 >> > >> >penguin. <[hidden email]> 于2021年1月7日周四 上午10:11写道: >> > >> >> >> >> >> 我在jira上看到好像有人在做,但是好像无法获取到更多的信息。也不知道他们是怎么做的。主要应该是找到进行任务调度那块的代码,不过源码注释好像很少,很困难。 >> >> >> >> >> >> >> >> >> >> >> >> >> >> >> >> >> >> >> >> 在 2021-01-06 13:06:20,"赵一旦" <[hidden email]> 写道: >> >> >我不是很清楚,不过难度应该很大,不然社区早改了。当前任务经常导致机器资源不均衡,这个问题很常见。 >> >> > >> >> >penguin. <[hidden email]> 于2021年1月6日周三 上午11:15写道: >> >> > >> >> >> Hi,请问大家知道怎么更改flink默认的任务调度方式吗? >> >> >> >> >> >> >> >> >> >> >> |
不一样的哈。不是一个层次的东西。
调度平台指的是在指定时间自动帮你提交某个任务,或者每天定时提交某个任务等。 后者是flink内部的机制,指提交任务后,这个任务的每个subtask应该使用哪台机器哪个slot去执行。 penguin. <[hidden email]> 于2021年1月7日周四 下午12:50写道: > 赵一旦: > 你说的任务调度平台是指通过这种平台来完全控制flink中的task到具体某个节点的调度吗? > 我想的是flink自己内部的task到节点的调度。比如说通过修改flink现在的调度部分的代码来实现。 > 是不是这两种都可以用来实现 根据我们自己的需求来决定将task具体调度哪个节点中。 > > > > > > > > > > > > > > > 在 2021-01-07 12:24:42,"赵一旦" <[hidden email]> 写道: > >你说的是任务调度有2层含义。一种任务调度平台(这个很常见)。还是flink自身的task的schedule,这个是很复杂。 > > > >penguin. <[hidden email]> 于2021年1月7日周四 上午10:32写道: > > > >> > >> > >> > >> 我在知网的一篇论文中看到有作者做的flink任务调度,但是发了邮件很久也没人回复。 > >> > >> > >> > >> > >> > >> > >> > >> > >> > >> > >> > >> > >> > >> > >> 在 2021-01-07 10:21:27,"赵一旦" <[hidden email]> 写道: > >> >是的,之前有人给过我回复,说当前flink的调度信息不足,导致无法做到很理想的调度。 > >> > > >> >penguin. <[hidden email]> 于2021年1月7日周四 上午10:11写道: > >> > > >> >> > >> >> > >> > 我在jira上看到好像有人在做,但是好像无法获取到更多的信息。也不知道他们是怎么做的。主要应该是找到进行任务调度那块的代码,不过源码注释好像很少,很困难。 > >> >> > >> >> > >> >> > >> >> > >> >> > >> >> > >> >> > >> >> > >> >> > >> >> 在 2021-01-06 13:06:20,"赵一旦" <[hidden email]> 写道: > >> >> >我不是很清楚,不过难度应该很大,不然社区早改了。当前任务经常导致机器资源不均衡,这个问题很常见。 > >> >> > > >> >> >penguin. <[hidden email]> 于2021年1月6日周三 上午11:15写道: > >> >> > > >> >> >> Hi,请问大家知道怎么更改flink默认的任务调度方式吗? > >> >> > >> >> > >> >> > >> >> > >> >> > >> > |
赵一旦:
所以目前是否有办法来实现在提交任务后,将这个任务的subtask调度到指定机器的某个slot来执行呢。 在 2021-01-07 12:57:35,"赵一旦" <[hidden email]> 写道: >不一样的哈。不是一个层次的东西。 >调度平台指的是在指定时间自动帮你提交某个任务,或者每天定时提交某个任务等。 > >后者是flink内部的机制,指提交任务后,这个任务的每个subtask应该使用哪台机器哪个slot去执行。 > >penguin. <[hidden email]> 于2021年1月7日周四 下午12:50写道: > >> 赵一旦: >> 你说的任务调度平台是指通过这种平台来完全控制flink中的task到具体某个节点的调度吗? >> 我想的是flink自己内部的task到节点的调度。比如说通过修改flink现在的调度部分的代码来实现。 >> 是不是这两种都可以用来实现 根据我们自己的需求来决定将task具体调度哪个节点中。 >> >> >> >> >> >> >> >> >> >> >> >> >> >> >> 在 2021-01-07 12:24:42,"赵一旦" <[hidden email]> 写道: >> >你说的是任务调度有2层含义。一种任务调度平台(这个很常见)。还是flink自身的task的schedule,这个是很复杂。 >> > >> >penguin. <[hidden email]> 于2021年1月7日周四 上午10:32写道: >> > >> >> >> >> >> >> >> >> 我在知网的一篇论文中看到有作者做的flink任务调度,但是发了邮件很久也没人回复。 >> >> >> >> >> >> >> >> >> >> >> >> >> >> >> >> >> >> >> >> >> >> >> >> >> >> >> >> >> >> 在 2021-01-07 10:21:27,"赵一旦" <[hidden email]> 写道: >> >> >是的,之前有人给过我回复,说当前flink的调度信息不足,导致无法做到很理想的调度。 >> >> > >> >> >penguin. <[hidden email]> 于2021年1月7日周四 上午10:11写道: >> >> > >> >> >> >> >> >> >> >> >> 我在jira上看到好像有人在做,但是好像无法获取到更多的信息。也不知道他们是怎么做的。主要应该是找到进行任务调度那块的代码,不过源码注释好像很少,很困难。 >> >> >> >> >> >> >> >> >> >> >> >> >> >> >> >> >> >> >> >> >> >> >> >> >> >> >> >> >> >> 在 2021-01-06 13:06:20,"赵一旦" <[hidden email]> 写道: >> >> >> >我不是很清楚,不过难度应该很大,不然社区早改了。当前任务经常导致机器资源不均衡,这个问题很常见。 >> >> >> > >> >> >> >penguin. <[hidden email]> 于2021年1月6日周三 上午11:15写道: >> >> >> > >> >> >> >> Hi,请问大家知道怎么更改flink默认的任务调度方式吗? >> >> >> >> >> >> >> >> >> >> >> >> >> >> >> >> >> >> |
没有的。
penguin. <[hidden email]> 于2021年1月7日周四 下午1:04写道: > 赵一旦: > 所以目前是否有办法来实现在提交任务后,将这个任务的subtask调度到指定机器的某个slot来执行呢。 > > > > > > > > > > > > > > > 在 2021-01-07 12:57:35,"赵一旦" <[hidden email]> 写道: > >不一样的哈。不是一个层次的东西。 > >调度平台指的是在指定时间自动帮你提交某个任务,或者每天定时提交某个任务等。 > > > >后者是flink内部的机制,指提交任务后,这个任务的每个subtask应该使用哪台机器哪个slot去执行。 > > > >penguin. <[hidden email]> 于2021年1月7日周四 下午12:50写道: > > > >> 赵一旦: > >> 你说的任务调度平台是指通过这种平台来完全控制flink中的task到具体某个节点的调度吗? > >> 我想的是flink自己内部的task到节点的调度。比如说通过修改flink现在的调度部分的代码来实现。 > >> 是不是这两种都可以用来实现 根据我们自己的需求来决定将task具体调度哪个节点中。 > >> > >> > >> > >> > >> > >> > >> > >> > >> > >> > >> > >> > >> > >> > >> 在 2021-01-07 12:24:42,"赵一旦" <[hidden email]> 写道: > >> >你说的是任务调度有2层含义。一种任务调度平台(这个很常见)。还是flink自身的task的schedule,这个是很复杂。 > >> > > >> >penguin. <[hidden email]> 于2021年1月7日周四 上午10:32写道: > >> > > >> >> > >> >> > >> >> > >> >> 我在知网的一篇论文中看到有作者做的flink任务调度,但是发了邮件很久也没人回复。 > >> >> > >> >> > >> >> > >> >> > >> >> > >> >> > >> >> > >> >> > >> >> > >> >> > >> >> > >> >> > >> >> > >> >> > >> >> 在 2021-01-07 10:21:27,"赵一旦" <[hidden email]> 写道: > >> >> >是的,之前有人给过我回复,说当前flink的调度信息不足,导致无法做到很理想的调度。 > >> >> > > >> >> >penguin. <[hidden email]> 于2021年1月7日周四 上午10:11写道: > >> >> > > >> >> >> > >> >> >> > >> >> > >> > 我在jira上看到好像有人在做,但是好像无法获取到更多的信息。也不知道他们是怎么做的。主要应该是找到进行任务调度那块的代码,不过源码注释好像很少,很困难。 > >> >> >> > >> >> >> > >> >> >> > >> >> >> > >> >> >> > >> >> >> > >> >> >> > >> >> >> > >> >> >> > >> >> >> 在 2021-01-06 13:06:20,"赵一旦" <[hidden email]> 写道: > >> >> >> >我不是很清楚,不过难度应该很大,不然社区早改了。当前任务经常导致机器资源不均衡,这个问题很常见。 > >> >> >> > > >> >> >> >penguin. <[hidden email]> 于2021年1月6日周三 上午11:15写道: > >> >> >> > > >> >> >> >> Hi,请问大家知道怎么更改flink默认的任务调度方式吗? > >> >> >> > >> >> >> > >> >> >> > >> >> >> > >> >> >> > >> >> > >> > |
能否 将集群部署在yarn上,然后通过实现yarn的接口来做呢?好像yarn是提供了一个可插拔的接口进行资源调度之类的。
在 2021-01-07 13:05:59,"赵一旦" <[hidden email]> 写道: >没有的。 > >penguin. <[hidden email]> 于2021年1月7日周四 下午1:04写道: > >> 赵一旦: >> 所以目前是否有办法来实现在提交任务后,将这个任务的subtask调度到指定机器的某个slot来执行呢。 >> >> >> >> >> >> >> >> >> >> >> >> >> >> >> 在 2021-01-07 12:57:35,"赵一旦" <[hidden email]> 写道: >> >不一样的哈。不是一个层次的东西。 >> >调度平台指的是在指定时间自动帮你提交某个任务,或者每天定时提交某个任务等。 >> > >> >后者是flink内部的机制,指提交任务后,这个任务的每个subtask应该使用哪台机器哪个slot去执行。 >> > >> >penguin. <[hidden email]> 于2021年1月7日周四 下午12:50写道: >> > >> >> 赵一旦: >> >> 你说的任务调度平台是指通过这种平台来完全控制flink中的task到具体某个节点的调度吗? >> >> 我想的是flink自己内部的task到节点的调度。比如说通过修改flink现在的调度部分的代码来实现。 >> >> 是不是这两种都可以用来实现 根据我们自己的需求来决定将task具体调度哪个节点中。 >> >> >> >> >> >> >> >> >> >> >> >> >> >> >> >> >> >> >> >> >> >> >> >> >> >> >> >> >> >> 在 2021-01-07 12:24:42,"赵一旦" <[hidden email]> 写道: >> >> >你说的是任务调度有2层含义。一种任务调度平台(这个很常见)。还是flink自身的task的schedule,这个是很复杂。 >> >> > >> >> >penguin. <[hidden email]> 于2021年1月7日周四 上午10:32写道: >> >> > >> >> >> >> >> >> >> >> >> >> >> >> 我在知网的一篇论文中看到有作者做的flink任务调度,但是发了邮件很久也没人回复。 >> >> >> >> >> >> >> >> >> >> >> >> >> >> >> >> >> >> >> >> >> >> >> >> >> >> >> >> >> >> >> >> >> >> >> >> >> >> >> >> >> >> >> >> >> 在 2021-01-07 10:21:27,"赵一旦" <[hidden email]> 写道: >> >> >> >是的,之前有人给过我回复,说当前flink的调度信息不足,导致无法做到很理想的调度。 >> >> >> > >> >> >> >penguin. <[hidden email]> 于2021年1月7日周四 上午10:11写道: >> >> >> > >> >> >> >> >> >> >> >> >> >> >> >> >> >> 我在jira上看到好像有人在做,但是好像无法获取到更多的信息。也不知道他们是怎么做的。主要应该是找到进行任务调度那块的代码,不过源码注释好像很少,很困难。 >> >> >> >> >> >> >> >> >> >> >> >> >> >> >> >> >> >> >> >> >> >> >> >> >> >> >> >> >> >> >> >> >> >> >> >> >> >> >> >> 在 2021-01-06 13:06:20,"赵一旦" <[hidden email]> 写道: >> >> >> >> >我不是很清楚,不过难度应该很大,不然社区早改了。当前任务经常导致机器资源不均衡,这个问题很常见。 >> >> >> >> > >> >> >> >> >penguin. <[hidden email]> 于2021年1月6日周三 上午11:15写道: >> >> >> >> > >> >> >> >> >> Hi,请问大家知道怎么更改flink默认的任务调度方式吗? >> >> >> >> >> >> >> >> >> >> >> >> >> >> >> >> >> >> >> >> >> >> >> >> >> >> |
Free forum by Nabble | Edit this page |