rocksDB本地存储路径疑问【on-yarn】

classic Classic list List threaded Threaded
4 messages Options
Reply | Threaded
Open this post in threaded view
|

rocksDB本地存储路径疑问【on-yarn】

zq wang
各位大佬好,
我想把rocksDB本地存储改下存储位置,查到了需要修改io.tmp.dirs路径,实际添加参数-yD
io.tmp.dirs并不能正常启动任务,去掉该参数可正常启动。后续查阅on-yarn模式应该遵从的是yarn-site
LOCAL_DIRS的配置。请问在不改yarn-site.yml
下 怎么正确配置flink-on-yarn 下rocksDB的本地路径?
Reply | Threaded
Open this post in threaded view
|

回复:rocksDB本地存储路径疑问【on-yarn】

fanrui
代码中配置
rocksDBStateBackend.setDbStoragePaths(ROCKSDB_LOCAL_DIRS: _*)





------------------ 原始邮件 ------------------
发件人: "zq wang"<[hidden email]>;
发送时间: 2019年7月22日(星期一) 中午11:21
收件人: "user-zh"<[hidden email]>;

主题: rocksDB本地存储路径疑问【on-yarn】



各位大佬好,
我想把rocksDB本地存储改下存储位置,查到了需要修改io.tmp.dirs路径,实际添加参数-yD
io.tmp.dirs并不能正常启动任务,去掉该参数可正常启动。后续查阅on-yarn模式应该遵从的是yarn-site
LOCAL_DIRS的配置。请问在不改yarn-site.yml
下 怎么正确配置flink-on-yarn 下rocksDB的本地路径?
Reply | Threaded
Open this post in threaded view
|

Re: rocksDB本地存储路径疑问【on-yarn】

tangjunliang@huitongjy.com
In reply to this post by zq wang
你好:
        你描述的情况使用-yD io.tmp.dirs= 提交任务是没有问题的,如果是配置了多个目录请用 : (冒号) 隔开



[hidden email]
 
发件人: zq wang
发送时间: 2019-07-22 11:21
收件人: user-zh
主题: rocksDB本地存储路径疑问【on-yarn】
各位大佬好,
我想把rocksDB本地存储改下存储位置,查到了需要修改io.tmp.dirs路径,实际添加参数-yD
io.tmp.dirs并不能正常启动任务,去掉该参数可正常启动。后续查阅on-yarn模式应该遵从的是yarn-site
LOCAL_DIRS的配置。请问在不改yarn-site.yml
下 怎么正确配置flink-on-yarn 下rocksDB的本地路径?
Reply | Threaded
Open this post in threaded view
|

Re: rocksDB本地存储路径疑问【on-yarn】

zq wang
In reply to this post by zq wang
好的,多谢大佬们 : )

[hidden email] <[hidden email]> 于2019年7月22日周一
上午11:56写道:

> 你好:
>         你描述的情况使用-yD io.tmp.dirs= 提交任务是没有问题的,如果是配置了多个目录请用 : (冒号) 隔开
>
>
>
> [hidden email]
>
> 发件人: zq wang
> 发送时间: 2019-07-22 11:21
> 收件人: user-zh
> 主题: rocksDB本地存储路径疑问【on-yarn】
> 各位大佬好,
> 我想把rocksDB本地存储改下存储位置,查到了需要修改io.tmp.dirs路径,实际添加参数-yD
> io.tmp.dirs并不能正常启动任务,去掉该参数可正常启动。后续查阅on-yarn模式应该遵从的是yarn-site
> LOCAL_DIRS的配置。请问在不改yarn-site.yml
> 下 怎么正确配置flink-on-yarn 下rocksDB的本地路径?
>