您好!
我在使用catalog的时候,遇到以下两个问题,麻烦帮忙看看,谢谢!
1、我定义了一个pg的catalog,运行一下查询语句,在数据库捕捉到的语句没有where条件, 这会导致sql语句很慢,然后会发生OOM, 有办法解决吗?我的写法是否有问题, 看起来像是flink把整个表读出来,再java层面过滤了。
以下是我的代码:
以下是数据库跟踪到的sql:
2、我定义了一个hive的catalog和一个Pg的catalog, 想将pg的数据直接抽到hive中, 但是数据量一大,就会发现OOM,帮忙看看我的代码是否存在问题? 在执行的时候,我看hdfs的文件没有持续在写入, 看起来像要把pg都读在内存,然后都写入到hive。