批流join特性

classic Classic list List threaded Threaded
1 message Options
Reply | Threaded
Open this post in threaded view
|

批流join特性

lec ssmi
在实际生产中,很多时候需要将流和维表join,维表可能来自于hive或者mysql。这种情况下,类似于spark structured
streaming中,可以直接使用一套API将流和批之间join。并且如果维表的数据改变,计算用的数据也会随着改变。而目前FLink底层虽然采用了相同的思维来实现批和流,但是批流两种API没有统一,要想实现维表join的途径比较麻烦。社区为啥不考虑下将这种特性封装下呢?