现在的flink1.12支持批流混合的作业吗?

classic Classic list List threaded Threaded
3 messages Options
Reply | Threaded
Open this post in threaded view
|

现在的flink1.12支持批流混合的作业吗?

键盘击打者
嗨,您好!

比如我想在一个应用里同时跑实时数据清洗和历史数据清洗(批作业和流作业混合)?
类似下图的应用。
<http://apache-flink.147419.n8.nabble.com/file/t1425/1617266981%281%29.jpg>

祝好,
耳朵



--
Sent from: http://apache-flink.147419.n8.nabble.com/
Reply | Threaded
Open this post in threaded view
|

回复:现在的flink1.12支持批流混合的作业吗?

飞翔
哈哈,建议你去了解flink-cdc



发自我的iPhone


------------------ 原始邮件 ------------------
发件人: 键盘击打者 <[hidden email]&gt;
发送时间: 2021年4月1日 17:17
收件人: user-zh <[hidden email]&gt;
主题: 回复:现在的flink1.12支持批流混合的作业吗?



嗨,您好!

比如我想在一个应用里同时跑实时数据清洗和历史数据清洗(批作业和流作业混合)?
类似下图的应用。
<http://apache-flink.147419.n8.nabble.com/file/t1425/1617266981%281%29.jpg&gt; 

祝好,
耳朵



--
Sent from: http://apache-flink.147419.n8.nabble.com/
Reply | Threaded
Open this post in threaded view
|

Re: 回复:现在的flink1.12支持批流混合的作业吗?

键盘击打者
谢谢老哥的回复。

可能我举得例子不是很好。我其实还是单纯的想问
使用DataStream的API,支不支持同一个应用中批流混合的作业(比如一个应用多个job,job有流有批)...

就我目前看到的文档中来看,是支持的。但是指定execution.runtime-mode为批、流、自动模式后,作业的执行还是会依照批和流其中一种模式,所以在性能上不能很好的支持批流混合的作业。

不知道我理解的是否正确,学生狗一只。

祝好,
耳朵



--
Sent from: http://apache-flink.147419.n8.nabble.com/