使用jdbccatalog读取pg数据时,sql语句中的where条件没办法带到数据库执行吗?

classic Classic list List threaded Threaded
1 message Options
Reply | Threaded
Open this post in threaded view
|

使用jdbccatalog读取pg数据时,sql语句中的where条件没办法带到数据库执行吗?

潘建军
您好!

我在使用catalog的时候,遇到以下两个问题,麻烦帮忙看看,谢谢!
1、我定义了一个pg的catalog,运行一下查询语句,在数据库捕捉到的语句没有where条件, 这会导致sql语句很慢,然后会发生OOM, 有办法解决吗?我的写法是否有问题,  看起来像是flink把整个表读出来,再java层面过滤了。
以下是我的代码:
以下是数据库跟踪到的sql:



2、我定义了一个hive的catalog和一个Pg的catalog,  想将pg的数据直接抽到hive中, 但是数据量一大,就会发现OOM,帮忙看看我的代码是否存在问题?    在执行的时候,我看hdfs的文件没有持续在写入, 看起来像要把pg都读在内存,然后都写入到hive。