注册缓存文件的热更新问题

classic Classic list List threaded Threaded
6 messages Options
Reply | Threaded
Open this post in threaded view
|

注册缓存文件的热更新问题

戴嘉诚
大家好:
        我在flink中看到可以注册一个分布式缓存文件StreamExecutionEnvironment.registerCachedFile()然后可以广播到每个tm上给算子使用,那么我想问问,这个文件可以检测到文件更新了,然后会重新广播过去嘛?因为ip会可能会每天都有改变,所以ip库要每天都更新。

Reply | Threaded
Open this post in threaded view
|

Re: 注册缓存文件的热更新问题

Xintong Song
你好,

这个应该是不可以的。

Thank you~

Xintong Song



On Thu, Jul 4, 2019 at 4:29 PM 戴嘉诚 <[hidden email]> wrote:

> 大家好:
>
> 我在flink中看到可以注册一个分布式缓存文件StreamExecutionEnvironment.registerCachedFile()然后可以广播到每个tm上给算子使用,那么我想问问,这个文件可以检测到文件更新了,然后会重新广播过去嘛?因为ip会可能会每天都有改变,所以ip库要每天都更新。
>
>
Reply | Threaded
Open this post in threaded view
|

Re: 注册缓存文件的热更新问题

Biao Liu
这个接口只会在提交 job 时工作一次,不会检测更新

Xintong Song <[hidden email]> 于2019年7月4日周四 下午7:39写道:

> 你好,
>
> 这个应该是不可以的。
>
> Thank you~
>
> Xintong Song
>
>
>
> On Thu, Jul 4, 2019 at 4:29 PM 戴嘉诚 <[hidden email]> wrote:
>
> > 大家好:
> >
> >
> 我在flink中看到可以注册一个分布式缓存文件StreamExecutionEnvironment.registerCachedFile()然后可以广播到每个tm上给算子使用,那么我想问问,这个文件可以检测到文件更新了,然后会重新广播过去嘛?因为ip会可能会每天都有改变,所以ip库要每天都更新。
> >
> >
>
Reply | Threaded
Open this post in threaded view
|

答复: 注册缓存文件的热更新问题

戴嘉诚
好的,那我想问问,如果要定期更新文件的这个场景,flink有没有其他功能是否支持呢?
谢谢!

发件人: Biao Liu
发送时间: 2019年7月5日 10:20
收件人: user-zh
主题: Re: 注册缓存文件的热更新问题

这个接口只会在提交 job 时工作一次,不会检测更新

Xintong Song <[hidden email]> 于2019年7月4日周四 下午7:39写道:

> 你好,
>
> 这个应该是不可以的。
>
> Thank you~
>
> Xintong Song
>
>
>
> On Thu, Jul 4, 2019 at 4:29 PM 戴嘉诚 <[hidden email]> wrote:
>
> > 大家好:
> >
> >
> 我在flink中看到可以注册一个分布式缓存文件StreamExecutionEnvironment.registerCachedFile()然后可以广播到每个tm上给算子使用,那么我想问问,这个文件可以检测到文件更新了,然后会重新广播过去嘛?因为ip会可能会每天都有改变,所以ip库要每天都更新。
> >
> >
>

Reply | Threaded
Open this post in threaded view
|

Re: 注册缓存文件的热更新问题

Biao Liu
据我所知,没有
自己写代码实现吧

戴嘉诚 <[hidden email]> 于2019年7月5日周五 上午10:36写道:

> 好的,那我想问问,如果要定期更新文件的这个场景,flink有没有其他功能是否支持呢?
> 谢谢!
>
> 发件人: Biao Liu
> 发送时间: 2019年7月5日 10:20
> 收件人: user-zh
> 主题: Re: 注册缓存文件的热更新问题
>
> 这个接口只会在提交 job 时工作一次,不会检测更新
>
> Xintong Song <[hidden email]> 于2019年7月4日周四 下午7:39写道:
>
> > 你好,
> >
> > 这个应该是不可以的。
> >
> > Thank you~
> >
> > Xintong Song
> >
> >
> >
> > On Thu, Jul 4, 2019 at 4:29 PM 戴嘉诚 <[hidden email]> wrote:
> >
> > > 大家好:
> > >
> > >
> >
> 我在flink中看到可以注册一个分布式缓存文件StreamExecutionEnvironment.registerCachedFile()然后可以广播到每个tm上给算子使用,那么我想问问,这个文件可以检测到文件更新了,然后会重新广播过去嘛?因为ip会可能会每天都有改变,所以ip库要每天都更新。
> > >
> > >
> >
>
>
Reply | Threaded
Open this post in threaded view
|

答复: 注册缓存文件的热更新问题

戴嘉诚
好的,谢谢

发件人: Biao Liu
发送时间: 2019年7月5日 10:39
收件人: user-zh
主题: Re: 注册缓存文件的热更新问题

据我所知,没有
自己写代码实现吧

戴嘉诚 <[hidden email]> 于2019年7月5日周五 上午10:36写道:

> 好的,那我想问问,如果要定期更新文件的这个场景,flink有没有其他功能是否支持呢?
> 谢谢!
>
> 发件人: Biao Liu
> 发送时间: 2019年7月5日 10:20
> 收件人: user-zh
> 主题: Re: 注册缓存文件的热更新问题
>
> 这个接口只会在提交 job 时工作一次,不会检测更新
>
> Xintong Song <[hidden email]> 于2019年7月4日周四 下午7:39写道:
>
> > 你好,
> >
> > 这个应该是不可以的。
> >
> > Thank you~
> >
> > Xintong Song
> >
> >
> >
> > On Thu, Jul 4, 2019 at 4:29 PM 戴嘉诚 <[hidden email]> wrote:
> >
> > > 大家好:
> > >
> > >
> >
> 我在flink中看到可以注册一个分布式缓存文件StreamExecutionEnvironment.registerCachedFile()然后可以广播到每个tm上给算子使用,那么我想问问,这个文件可以检测到文件更新了,然后会重新广播过去嘛?因为ip会可能会每天都有改变,所以ip库要每天都更新。
> > >
> > >
> >
>
>