設置look up table source

classic Classic list List threaded Threaded
4 messages Options
Reply | Threaded
Open this post in threaded view
|

設置look up table source

Chongaih Hau
hi all,

flink在使用temporal join只支持look up table source。我在做單元測試的時候, 下載了hive
表裡面的數據,嘗試了用filesystem註冊temporal table。可是後來發現file system不支持lookup。查詢了文檔(
https://ci.apache.org/projects/flink/flink-docs-stable/dev/table/legacySourceSinks.html),用戶可以自定義look
up table source。可是我找不到類似用csv設置look up table source的方法。所以想請問有什麼例子我可以參考嗎?

Regards,


*Hau ChongAih*
Reply | Threaded
Open this post in threaded view
|

Re: 設置look up table source

Leonard Xu
Hi, ChongAih

你可以参考 JdbcDynamicTableSource [1] 这个 table source 实现了 LookupTableSource 接口,你需要写一个类似 JdbcRowDataLookupFunction 即可
的函数即可。

祝好,
Leonard
[1] https://github.com/apache/flink/blob/4be9aff3eccb3808df1f10ef7c30480ec11a9cb0/flink-connectors/flink-connector-jdbc/src/main/java/org/apache/flink/connector/jdbc/table/JdbcDynamicTableSource.java#L70



> 在 2021年4月21日,16:04,Chongaih Hau <[hidden email]> 写道:
>
> hi all,
>
> flink在使用temporal join只支持look up table source。我在做單元測試的時候, 下載了hive
> 表裡面的數據,嘗試了用filesystem註冊temporal table。可是後來發現file system不支持lookup。查詢了文檔(
> https://ci.apache.org/projects/flink/flink-docs-stable/dev/table/legacySourceSinks.html),用戶可以自定義look
> up table source。可是我找不到類似用csv設置look up table source的方法。所以想請問有什麼例子我可以參考嗎?
>
> Regards,
>
>
> *Hau ChongAih*

Reply | Threaded
Open this post in threaded view
|

Re: 設置look up table source

Chongaih Hau
Hi Leonard,

好的謝謝你的回覆

Regards,


*Hau ChongAih*


On Wed, Apr 21, 2021 at 7:27 PM Leonard Xu <[hidden email]> wrote:

> Hi, ChongAih
>
> 你可以参考 JdbcDynamicTableSource [1] 这个 table source 实现了 LookupTableSource
> 接口,你需要写一个类似 JdbcRowDataLookupFunction 即可
> 的函数即可。
>
> 祝好,
> Leonard
> [1]
> https://github.com/apache/flink/blob/4be9aff3eccb3808df1f10ef7c30480ec11a9cb0/flink-connectors/flink-connector-jdbc/src/main/java/org/apache/flink/connector/jdbc/table/JdbcDynamicTableSource.java#L70
>
>
>
> > 在 2021年4月21日,16:04,Chongaih Hau <[hidden email]> 写道:
> >
> > hi all,
> >
> > flink在使用temporal join只支持look up table source。我在做單元測試的時候, 下載了hive
> > 表裡面的數據,嘗試了用filesystem註冊temporal table。可是後來發現file system不支持lookup。查詢了文檔(
> >
> https://ci.apache.org/projects/flink/flink-docs-stable/dev/table/legacySourceSinks.html)
> ,用戶可以自定義look
> > up table source。可是我找不到類似用csv設置look up table source的方法。所以想請問有什麼例子我可以參考嗎?
> >
> > Regards,
> >
> >
> > *Hau ChongAih*
>
>
Reply | Threaded
Open this post in threaded view
|

Re: 設置look up table source

HunterXHunter
In reply to this post by Chongaih Hau
理论上只要实现了LookupTableSource。你在 TableFunction 里面怎么重写 eval 都可以,不管你是要读取哪里的数据怎么读。



--
Sent from: http://apache-flink.147419.n8.nabble.com/