yarn per模式如何配置rocksDB的本地目录localdir--v1.10.1

classic Classic list List threaded Threaded
3 messages Options
Reply | Threaded
Open this post in threaded view
|

yarn per模式如何配置rocksDB的本地目录localdir--v1.10.1

x_gothicist
在代码中指定或者flink的配置文件中指定,一直报错,Local DB files directory XXX does not exist and cannot be created
Reply | Threaded
Open this post in threaded view
|

回复:yarn per模式如何配置rocksDB的本地目录localdir--v1.10.1

耿延杰
可能是没有权限创建目录


RocksDBStateBackend类的lazyInitializeForJob方法用来创建 rocksdb 的本地目录


你在yarn上运行,一般在启动yarn集群时,会单独创建并使用一个用户,如yarn用户,而不是使用root用户。


你代码或配置文件指定的 state.backend.rocksdb.localdir 配置,可能 yarn 用户没有创建目录权限


------------------ 原始邮件 ------------------
发件人:                                                                                                                        "user-zh"                                                                                    <[hidden email]&gt;;
发送时间:&nbsp;2021年1月20日(星期三) 下午3:07
收件人:&nbsp;"user-zh"<[hidden email]&gt;;

主题:&nbsp;yarn per模式如何配置rocksDB的本地目录localdir--v1.10.1



在代码中指定或者flink的配置文件中指定,一直报错,Local DB files directory XXX does not exist and cannot be created
Reply | Threaded
Open this post in threaded view
|

回复:yarn per模式如何配置rocksDB的本地目录localdir--v1.10.1

耿延杰
In reply to this post by x_gothicist
可能是没有权限创建目录


RocksDBStateBackend类的lazyInitializeForJob方法用来创建 rocksdb 的本地目录


你在yarn上运行,一般在启动yarn集群时,会单独创建并使用一个用户,如yarn用户,而不是使用root用户。


你代码或配置文件指定的 state.backend.rocksdb.localdir 配置路径,可能 yarn 用户没有创建目录权限




------------------&nbsp;原始邮件&nbsp;------------------
发件人:                                                                                                                        "user-zh"                                                                                    <[hidden email]&gt;;
发送时间:&nbsp;2021年1月20日(星期三) 下午3:07
收件人:&nbsp;"user-zh"<[hidden email]&gt;;

主题:&nbsp;yarn per模式如何配置rocksDB的本地目录localdir--v1.10.1



在代码中指定或者flink的配置文件中指定,一直报错,Local DB files directory XXX does not exist and cannot be created