flink1.12.2 StreamingFileSink 问题

classic Classic list List threaded Threaded
7 messages Options
Reply | Threaded
Open this post in threaded view
|

flink1.12.2 StreamingFileSink 问题

张锴
flink用的1.12.2,要sink到hdfs,选用了StreamingFileSink,导入依赖的时候maven仓库并没有1.12.2的flink-connector-filesystem的jar包,我应该选用哪个版本合适
Reply | Threaded
Open this post in threaded view
|

回复:flink1.12.2 StreamingFileSink 问题

guoyb
1.12.0的也可以,大版本一样就行了



---原始邮件---
发件人: "张锴"<[hidden email]&gt;
发送时间: 2021年4月15日(周四) 下午5:16
收件人: "user-zh"<[hidden email]&gt;;
主题: flink1.12.2 StreamingFileSink 问题


flink用的1.12.2,要sink到hdfs,选用了StreamingFileSink,导入依赖的时候maven仓库并没有1.12.2的flink-connector-filesystem的jar包,我应该选用哪个版本合适
Reply | Threaded
Open this post in threaded view
|

Re: flink1.12.2 StreamingFileSink 问题

张锴
maven 仓库flink-connector-filesystem 最高1.11.3,也能用吗?

guoyb <[hidden email]> 于2021年4月15日周四 下午10:01写道:

> 1.12.0的也可以,大版本一样就行了
>
>
>
> ---原始邮件---
> 发件人: "张锴"<[hidden email]&gt;
> 发送时间: 2021年4月15日(周四) 下午5:16
> 收件人: "user-zh"<[hidden email]&gt;;
> 主题: flink1.12.2 StreamingFileSink 问题
>
>
>
> flink用的1.12.2,要sink到hdfs,选用了StreamingFileSink,导入依赖的时候maven仓库并没有1.12.2的flink-connector-filesystem的jar包,我应该选用哪个版本合适
Reply | Threaded
Open this post in threaded view
|

Re: flink1.12.2 StreamingFileSink 问题

Peihui He
https://ci.apache.org/projects/flink/flink-docs-release-1.12/dev/connectors/streamfile_sink.html

这个参考过没呢?

张锴 <[hidden email]> 于2021年4月16日周五 下午1:24写道:

> maven 仓库flink-connector-filesystem 最高1.11.3,也能用吗?
>
> guoyb <[hidden email]> 于2021年4月15日周四 下午10:01写道:
>
> > 1.12.0的也可以,大版本一样就行了
> >
> >
> >
> > ---原始邮件---
> > 发件人: "张锴"<[hidden email]&gt;
> > 发送时间: 2021年4月15日(周四) 下午5:16
> > 收件人: "user-zh"<[hidden email]&gt;;
> > 主题: flink1.12.2 StreamingFileSink 问题
> >
> >
> >
> >
> flink用的1.12.2,要sink到hdfs,选用了StreamingFileSink,导入依赖的时候maven仓库并没有1.12.2的flink-connector-filesystem的jar包,我应该选用哪个版本合适
>
Reply | Threaded
Open this post in threaded view
|

Re: flink1.12.2 StreamingFileSink 问题

LiangbinZhang
In reply to this post by 张锴
Hi,张锴
    Flink1.12支持sql直接写hive表,可以做到分钟级的数据查询,不知道符不符合你的业务需求。



张锴 wrote
> flink用的1.12.2,要sink到hdfs,选用了StreamingFileSink,导入依赖的时候maven仓库并没有1.12.2的flink-connector-filesystem的jar包,我应该选用哪个版本合适





--
Sent from: http://apache-flink.147419.n8.nabble.com/
Reply | Threaded
Open this post in threaded view
|

Re: flink1.12.2 StreamingFileSink 问题

张锴
请问是用flink CLI的方式写hive,还是用code方式呢,暂时没用过flink sql 不知道标准开发是怎样

LiangbinZhang <[hidden email]> 于2021年4月16日周五 下午6:57写道:

> Hi,张锴
>     Flink1.12支持sql直接写hive表,可以做到分钟级的数据查询,不知道符不符合你的业务需求。
>
>
>
> 张锴 wrote
> >
> flink用的1.12.2,要sink到hdfs,选用了StreamingFileSink,导入依赖的时候maven仓库并没有1.12.2的flink-connector-filesystem的jar包,我应该选用哪个版本合适
>
>
>
>
>
> --
> Sent from: http://apache-flink.147419.n8.nabble.com/
Reply | Threaded
Open this post in threaded view
|

Re: flink1.12.2 StreamingFileSink 问题

JasonLee
hi

可以参考这篇文章: https://mp.weixin.qq.com/s/HqXaREr_NZbZ8lgu_yi7yA



-----
Best Wishes
JasonLee
--
Sent from: http://apache-flink.147419.n8.nabble.com/
Best Wishes
JasonLee