修改flink的任务调度

classic Classic list List threaded Threaded
11 messages Options
Reply | Threaded
Open this post in threaded view
|

修改flink的任务调度

penguin.
Hi,请问大家知道怎么更改flink默认的任务调度方式吗?
Reply | Threaded
Open this post in threaded view
|

Re: 修改flink的任务调度

nobleyd
我不是很清楚,不过难度应该很大,不然社区早改了。当前任务经常导致机器资源不均衡,这个问题很常见。

penguin. <[hidden email]> 于2021年1月6日周三 上午11:15写道:

> Hi,请问大家知道怎么更改flink默认的任务调度方式吗?
Reply | Threaded
Open this post in threaded view
|

Re:Re: 修改flink的任务调度

penguin.
我在jira上看到好像有人在做,但是好像无法获取到更多的信息。也不知道他们是怎么做的。主要应该是找到进行任务调度那块的代码,不过源码注释好像很少,很困难。









在 2021-01-06 13:06:20,"赵一旦" <[hidden email]> 写道: >我不是很清楚,不过难度应该很大,不然社区早改了。当前任务经常导致机器资源不均衡,这个问题很常见。 > >penguin. <[hidden email]> 于2021年1月6日周三 上午11:15写道: > >> Hi,请问大家知道怎么更改flink默认的任务调度方式吗?


 

Reply | Threaded
Open this post in threaded view
|

Re: Re: 修改flink的任务调度

nobleyd
是的,之前有人给过我回复,说当前flink的调度信息不足,导致无法做到很理想的调度。

penguin. <[hidden email]> 于2021年1月7日周四 上午10:11写道:

>
> 我在jira上看到好像有人在做,但是好像无法获取到更多的信息。也不知道他们是怎么做的。主要应该是找到进行任务调度那块的代码,不过源码注释好像很少,很困难。
>
>
>
>
>
>
>
>
>
> 在 2021-01-06 13:06:20,"赵一旦" <[hidden email]> 写道:
> >我不是很清楚,不过难度应该很大,不然社区早改了。当前任务经常导致机器资源不均衡,这个问题很常见。
> >
> >penguin. <[hidden email]> 于2021年1月6日周三 上午11:15写道:
> >
> >> Hi,请问大家知道怎么更改flink默认的任务调度方式吗?
>
>
>
>
>
Reply | Threaded
Open this post in threaded view
|

Re:Re: Re: 修改flink的任务调度

penguin.



我在知网的一篇论文中看到有作者做的flink任务调度,但是发了邮件很久也没人回复。














在 2021-01-07 10:21:27,"赵一旦" <[hidden email]> 写道:

>是的,之前有人给过我回复,说当前flink的调度信息不足,导致无法做到很理想的调度。
>
>penguin. <[hidden email]> 于2021年1月7日周四 上午10:11写道:
>
>>
>> 我在jira上看到好像有人在做,但是好像无法获取到更多的信息。也不知道他们是怎么做的。主要应该是找到进行任务调度那块的代码,不过源码注释好像很少,很困难。
>>
>>
>>
>>
>>
>>
>>
>>
>>
>> 在 2021-01-06 13:06:20,"赵一旦" <[hidden email]> 写道:
>> >我不是很清楚,不过难度应该很大,不然社区早改了。当前任务经常导致机器资源不均衡,这个问题很常见。
>> >
>> >penguin. <[hidden email]> 于2021年1月6日周三 上午11:15写道:
>> >
>> >> Hi,请问大家知道怎么更改flink默认的任务调度方式吗?
>>
>>
>>
>>
>>
Reply | Threaded
Open this post in threaded view
|

Re: Re: Re: 修改flink的任务调度

nobleyd
你说的是任务调度有2层含义。一种任务调度平台(这个很常见)。还是flink自身的task的schedule,这个是很复杂。

penguin. <[hidden email]> 于2021年1月7日周四 上午10:32写道:

>
>
>
> 我在知网的一篇论文中看到有作者做的flink任务调度,但是发了邮件很久也没人回复。
>
>
>
>
>
>
>
>
>
>
>
>
>
>
> 在 2021-01-07 10:21:27,"赵一旦" <[hidden email]> 写道:
> >是的,之前有人给过我回复,说当前flink的调度信息不足,导致无法做到很理想的调度。
> >
> >penguin. <[hidden email]> 于2021年1月7日周四 上午10:11写道:
> >
> >>
> >>
> 我在jira上看到好像有人在做,但是好像无法获取到更多的信息。也不知道他们是怎么做的。主要应该是找到进行任务调度那块的代码,不过源码注释好像很少,很困难。
> >>
> >>
> >>
> >>
> >>
> >>
> >>
> >>
> >>
> >> 在 2021-01-06 13:06:20,"赵一旦" <[hidden email]> 写道:
> >> >我不是很清楚,不过难度应该很大,不然社区早改了。当前任务经常导致机器资源不均衡,这个问题很常见。
> >> >
> >> >penguin. <[hidden email]> 于2021年1月6日周三 上午11:15写道:
> >> >
> >> >> Hi,请问大家知道怎么更改flink默认的任务调度方式吗?
> >>
> >>
> >>
> >>
> >>
>
Reply | Threaded
Open this post in threaded view
|

Re:Re: Re: Re: 修改flink的任务调度

penguin.
赵一旦:
你说的任务调度平台是指通过这种平台来完全控制flink中的task到具体某个节点的调度吗?
我想的是flink自己内部的task到节点的调度。比如说通过修改flink现在的调度部分的代码来实现。
是不是这两种都可以用来实现 根据我们自己的需求来决定将task具体调度哪个节点中。














在 2021-01-07 12:24:42,"赵一旦" <[hidden email]> 写道:

>你说的是任务调度有2层含义。一种任务调度平台(这个很常见)。还是flink自身的task的schedule,这个是很复杂。
>
>penguin. <[hidden email]> 于2021年1月7日周四 上午10:32写道:
>
>>
>>
>>
>> 我在知网的一篇论文中看到有作者做的flink任务调度,但是发了邮件很久也没人回复。
>>
>>
>>
>>
>>
>>
>>
>>
>>
>>
>>
>>
>>
>>
>> 在 2021-01-07 10:21:27,"赵一旦" <[hidden email]> 写道:
>> >是的,之前有人给过我回复,说当前flink的调度信息不足,导致无法做到很理想的调度。
>> >
>> >penguin. <[hidden email]> 于2021年1月7日周四 上午10:11写道:
>> >
>> >>
>> >>
>> 我在jira上看到好像有人在做,但是好像无法获取到更多的信息。也不知道他们是怎么做的。主要应该是找到进行任务调度那块的代码,不过源码注释好像很少,很困难。
>> >>
>> >>
>> >>
>> >>
>> >>
>> >>
>> >>
>> >>
>> >>
>> >> 在 2021-01-06 13:06:20,"赵一旦" <[hidden email]> 写道:
>> >> >我不是很清楚,不过难度应该很大,不然社区早改了。当前任务经常导致机器资源不均衡,这个问题很常见。
>> >> >
>> >> >penguin. <[hidden email]> 于2021年1月6日周三 上午11:15写道:
>> >> >
>> >> >> Hi,请问大家知道怎么更改flink默认的任务调度方式吗?
>> >>
>> >>
>> >>
>> >>
>> >>
>>
Reply | Threaded
Open this post in threaded view
|

Re: Re: Re: Re: 修改flink的任务调度

nobleyd
不一样的哈。不是一个层次的东西。
调度平台指的是在指定时间自动帮你提交某个任务,或者每天定时提交某个任务等。

后者是flink内部的机制,指提交任务后,这个任务的每个subtask应该使用哪台机器哪个slot去执行。

penguin. <[hidden email]> 于2021年1月7日周四 下午12:50写道:

> 赵一旦:
> 你说的任务调度平台是指通过这种平台来完全控制flink中的task到具体某个节点的调度吗?
> 我想的是flink自己内部的task到节点的调度。比如说通过修改flink现在的调度部分的代码来实现。
> 是不是这两种都可以用来实现 根据我们自己的需求来决定将task具体调度哪个节点中。
>
>
>
>
>
>
>
>
>
>
>
>
>
>
> 在 2021-01-07 12:24:42,"赵一旦" <[hidden email]> 写道:
> >你说的是任务调度有2层含义。一种任务调度平台(这个很常见)。还是flink自身的task的schedule,这个是很复杂。
> >
> >penguin. <[hidden email]> 于2021年1月7日周四 上午10:32写道:
> >
> >>
> >>
> >>
> >> 我在知网的一篇论文中看到有作者做的flink任务调度,但是发了邮件很久也没人回复。
> >>
> >>
> >>
> >>
> >>
> >>
> >>
> >>
> >>
> >>
> >>
> >>
> >>
> >>
> >> 在 2021-01-07 10:21:27,"赵一旦" <[hidden email]> 写道:
> >> >是的,之前有人给过我回复,说当前flink的调度信息不足,导致无法做到很理想的调度。
> >> >
> >> >penguin. <[hidden email]> 于2021年1月7日周四 上午10:11写道:
> >> >
> >> >>
> >> >>
> >>
> 我在jira上看到好像有人在做,但是好像无法获取到更多的信息。也不知道他们是怎么做的。主要应该是找到进行任务调度那块的代码,不过源码注释好像很少,很困难。
> >> >>
> >> >>
> >> >>
> >> >>
> >> >>
> >> >>
> >> >>
> >> >>
> >> >>
> >> >> 在 2021-01-06 13:06:20,"赵一旦" <[hidden email]> 写道:
> >> >> >我不是很清楚,不过难度应该很大,不然社区早改了。当前任务经常导致机器资源不均衡,这个问题很常见。
> >> >> >
> >> >> >penguin. <[hidden email]> 于2021年1月6日周三 上午11:15写道:
> >> >> >
> >> >> >> Hi,请问大家知道怎么更改flink默认的任务调度方式吗?
> >> >>
> >> >>
> >> >>
> >> >>
> >> >>
> >>
>
Reply | Threaded
Open this post in threaded view
|

Re:Re: Re: Re: Re: 修改flink的任务调度

penguin.
赵一旦:
所以目前是否有办法来实现在提交任务后,将这个任务的subtask调度到指定机器的某个slot来执行呢。














在 2021-01-07 12:57:35,"赵一旦" <[hidden email]> 写道:

>不一样的哈。不是一个层次的东西。
>调度平台指的是在指定时间自动帮你提交某个任务,或者每天定时提交某个任务等。
>
>后者是flink内部的机制,指提交任务后,这个任务的每个subtask应该使用哪台机器哪个slot去执行。
>
>penguin. <[hidden email]> 于2021年1月7日周四 下午12:50写道:
>
>> 赵一旦:
>> 你说的任务调度平台是指通过这种平台来完全控制flink中的task到具体某个节点的调度吗?
>> 我想的是flink自己内部的task到节点的调度。比如说通过修改flink现在的调度部分的代码来实现。
>> 是不是这两种都可以用来实现 根据我们自己的需求来决定将task具体调度哪个节点中。
>>
>>
>>
>>
>>
>>
>>
>>
>>
>>
>>
>>
>>
>>
>> 在 2021-01-07 12:24:42,"赵一旦" <[hidden email]> 写道:
>> >你说的是任务调度有2层含义。一种任务调度平台(这个很常见)。还是flink自身的task的schedule,这个是很复杂。
>> >
>> >penguin. <[hidden email]> 于2021年1月7日周四 上午10:32写道:
>> >
>> >>
>> >>
>> >>
>> >> 我在知网的一篇论文中看到有作者做的flink任务调度,但是发了邮件很久也没人回复。
>> >>
>> >>
>> >>
>> >>
>> >>
>> >>
>> >>
>> >>
>> >>
>> >>
>> >>
>> >>
>> >>
>> >>
>> >> 在 2021-01-07 10:21:27,"赵一旦" <[hidden email]> 写道:
>> >> >是的,之前有人给过我回复,说当前flink的调度信息不足,导致无法做到很理想的调度。
>> >> >
>> >> >penguin. <[hidden email]> 于2021年1月7日周四 上午10:11写道:
>> >> >
>> >> >>
>> >> >>
>> >>
>> 我在jira上看到好像有人在做,但是好像无法获取到更多的信息。也不知道他们是怎么做的。主要应该是找到进行任务调度那块的代码,不过源码注释好像很少,很困难。
>> >> >>
>> >> >>
>> >> >>
>> >> >>
>> >> >>
>> >> >>
>> >> >>
>> >> >>
>> >> >>
>> >> >> 在 2021-01-06 13:06:20,"赵一旦" <[hidden email]> 写道:
>> >> >> >我不是很清楚,不过难度应该很大,不然社区早改了。当前任务经常导致机器资源不均衡,这个问题很常见。
>> >> >> >
>> >> >> >penguin. <[hidden email]> 于2021年1月6日周三 上午11:15写道:
>> >> >> >
>> >> >> >> Hi,请问大家知道怎么更改flink默认的任务调度方式吗?
>> >> >>
>> >> >>
>> >> >>
>> >> >>
>> >> >>
>> >>
>>
Reply | Threaded
Open this post in threaded view
|

Re: Re: Re: Re: Re: 修改flink的任务调度

nobleyd
没有的。

penguin. <[hidden email]> 于2021年1月7日周四 下午1:04写道:

> 赵一旦:
> 所以目前是否有办法来实现在提交任务后,将这个任务的subtask调度到指定机器的某个slot来执行呢。
>
>
>
>
>
>
>
>
>
>
>
>
>
>
> 在 2021-01-07 12:57:35,"赵一旦" <[hidden email]> 写道:
> >不一样的哈。不是一个层次的东西。
> >调度平台指的是在指定时间自动帮你提交某个任务,或者每天定时提交某个任务等。
> >
> >后者是flink内部的机制,指提交任务后,这个任务的每个subtask应该使用哪台机器哪个slot去执行。
> >
> >penguin. <[hidden email]> 于2021年1月7日周四 下午12:50写道:
> >
> >> 赵一旦:
> >> 你说的任务调度平台是指通过这种平台来完全控制flink中的task到具体某个节点的调度吗?
> >> 我想的是flink自己内部的task到节点的调度。比如说通过修改flink现在的调度部分的代码来实现。
> >> 是不是这两种都可以用来实现 根据我们自己的需求来决定将task具体调度哪个节点中。
> >>
> >>
> >>
> >>
> >>
> >>
> >>
> >>
> >>
> >>
> >>
> >>
> >>
> >>
> >> 在 2021-01-07 12:24:42,"赵一旦" <[hidden email]> 写道:
> >> >你说的是任务调度有2层含义。一种任务调度平台(这个很常见)。还是flink自身的task的schedule,这个是很复杂。
> >> >
> >> >penguin. <[hidden email]> 于2021年1月7日周四 上午10:32写道:
> >> >
> >> >>
> >> >>
> >> >>
> >> >> 我在知网的一篇论文中看到有作者做的flink任务调度,但是发了邮件很久也没人回复。
> >> >>
> >> >>
> >> >>
> >> >>
> >> >>
> >> >>
> >> >>
> >> >>
> >> >>
> >> >>
> >> >>
> >> >>
> >> >>
> >> >>
> >> >> 在 2021-01-07 10:21:27,"赵一旦" <[hidden email]> 写道:
> >> >> >是的,之前有人给过我回复,说当前flink的调度信息不足,导致无法做到很理想的调度。
> >> >> >
> >> >> >penguin. <[hidden email]> 于2021年1月7日周四 上午10:11写道:
> >> >> >
> >> >> >>
> >> >> >>
> >> >>
> >>
> 我在jira上看到好像有人在做,但是好像无法获取到更多的信息。也不知道他们是怎么做的。主要应该是找到进行任务调度那块的代码,不过源码注释好像很少,很困难。
> >> >> >>
> >> >> >>
> >> >> >>
> >> >> >>
> >> >> >>
> >> >> >>
> >> >> >>
> >> >> >>
> >> >> >>
> >> >> >> 在 2021-01-06 13:06:20,"赵一旦" <[hidden email]> 写道:
> >> >> >> >我不是很清楚,不过难度应该很大,不然社区早改了。当前任务经常导致机器资源不均衡,这个问题很常见。
> >> >> >> >
> >> >> >> >penguin. <[hidden email]> 于2021年1月6日周三 上午11:15写道:
> >> >> >> >
> >> >> >> >> Hi,请问大家知道怎么更改flink默认的任务调度方式吗?
> >> >> >>
> >> >> >>
> >> >> >>
> >> >> >>
> >> >> >>
> >> >>
> >>
>
Reply | Threaded
Open this post in threaded view
|

Re:Re: Re: Re: Re: Re: 修改flink的任务调度

penguin.
能否 将集群部署在yarn上,然后通过实现yarn的接口来做呢?好像yarn是提供了一个可插拔的接口进行资源调度之类的。











在 2021-01-07 13:05:59,"赵一旦" <[hidden email]> 写道:

>没有的。
>
>penguin. <[hidden email]> 于2021年1月7日周四 下午1:04写道:
>
>> 赵一旦:
>> 所以目前是否有办法来实现在提交任务后,将这个任务的subtask调度到指定机器的某个slot来执行呢。
>>
>>
>>
>>
>>
>>
>>
>>
>>
>>
>>
>>
>>
>>
>> 在 2021-01-07 12:57:35,"赵一旦" <[hidden email]> 写道:
>> >不一样的哈。不是一个层次的东西。
>> >调度平台指的是在指定时间自动帮你提交某个任务,或者每天定时提交某个任务等。
>> >
>> >后者是flink内部的机制,指提交任务后,这个任务的每个subtask应该使用哪台机器哪个slot去执行。
>> >
>> >penguin. <[hidden email]> 于2021年1月7日周四 下午12:50写道:
>> >
>> >> 赵一旦:
>> >> 你说的任务调度平台是指通过这种平台来完全控制flink中的task到具体某个节点的调度吗?
>> >> 我想的是flink自己内部的task到节点的调度。比如说通过修改flink现在的调度部分的代码来实现。
>> >> 是不是这两种都可以用来实现 根据我们自己的需求来决定将task具体调度哪个节点中。
>> >>
>> >>
>> >>
>> >>
>> >>
>> >>
>> >>
>> >>
>> >>
>> >>
>> >>
>> >>
>> >>
>> >>
>> >> 在 2021-01-07 12:24:42,"赵一旦" <[hidden email]> 写道:
>> >> >你说的是任务调度有2层含义。一种任务调度平台(这个很常见)。还是flink自身的task的schedule,这个是很复杂。
>> >> >
>> >> >penguin. <[hidden email]> 于2021年1月7日周四 上午10:32写道:
>> >> >
>> >> >>
>> >> >>
>> >> >>
>> >> >> 我在知网的一篇论文中看到有作者做的flink任务调度,但是发了邮件很久也没人回复。
>> >> >>
>> >> >>
>> >> >>
>> >> >>
>> >> >>
>> >> >>
>> >> >>
>> >> >>
>> >> >>
>> >> >>
>> >> >>
>> >> >>
>> >> >>
>> >> >>
>> >> >> 在 2021-01-07 10:21:27,"赵一旦" <[hidden email]> 写道:
>> >> >> >是的,之前有人给过我回复,说当前flink的调度信息不足,导致无法做到很理想的调度。
>> >> >> >
>> >> >> >penguin. <[hidden email]> 于2021年1月7日周四 上午10:11写道:
>> >> >> >
>> >> >> >>
>> >> >> >>
>> >> >>
>> >>
>> 我在jira上看到好像有人在做,但是好像无法获取到更多的信息。也不知道他们是怎么做的。主要应该是找到进行任务调度那块的代码,不过源码注释好像很少,很困难。
>> >> >> >>
>> >> >> >>
>> >> >> >>
>> >> >> >>
>> >> >> >>
>> >> >> >>
>> >> >> >>
>> >> >> >>
>> >> >> >>
>> >> >> >> 在 2021-01-06 13:06:20,"赵一旦" <[hidden email]> 写道:
>> >> >> >> >我不是很清楚,不过难度应该很大,不然社区早改了。当前任务经常导致机器资源不均衡,这个问题很常见。
>> >> >> >> >
>> >> >> >> >penguin. <[hidden email]> 于2021年1月6日周三 上午11:15写道:
>> >> >> >> >
>> >> >> >> >> Hi,请问大家知道怎么更改flink默认的任务调度方式吗?
>> >> >> >>
>> >> >> >>
>> >> >> >>
>> >> >> >>
>> >> >> >>
>> >> >>
>> >>
>>