flink 1.11.2 pyudf python worker 内存怎么限制呢?

classic Classic list List threaded Threaded
1 message Options
Reply | Threaded
Open this post in threaded view
|

flink 1.11.2 pyudf python worker 内存怎么限制呢?

Peihui He
Hi, all

使用python写的udf,里面封装了模型的预测,但是在提交sqljob到flink session的时候,总是被容器kill。
taskmanager 命令行参数:
sun.java.command = org.apache.flink.runtime.taskexecutor.TaskManagerRunner -Djobmanager.rpc.address=10.50.56.253 --configDir /opt/flink-1.11.2/conf -D taskmanager.memory.framework.off-heap.size=134217728b -D taskmanager.memory.network.max=321011060b -D taskmanager.memory.network.min=321011060b -D taskmanager.memory.framework.heap.size=134217728b -D taskmanager.memory.managed.size=321011060b -D taskmanager.cpu.cores=4.0 -D taskmanager.memory.task.heap.size=2299652985b -D taskmanager.memory.task.off-heap.size=0b



python.fn-execution.framework.memory.size 450mb

配置了如上参数,但是没有效果。

是什么原因呢?