回复:flink checkpoint配置hdfs问题

classic Classic list List threaded Threaded
1 message Options
Reply | Threaded
Open this post in threaded view
|

回复:flink checkpoint配置hdfs问题

tangjunliang@huitongjy.com
不要写地址 写nameservice

--------------原始邮件--------------
发件人:"LJY "<[hidden email]&gt;;
发送时间:2019年12月25日(星期三) 下午3:23
收件人:"user-zh" <[hidden email]&gt;;
主题:flink checkpoint配置hdfs问题
-----------------------------------

 hi,各位好:
&nbsp;&nbsp;&nbsp; hdfs目前是配置了高可用, namenode分别为 nn1(active),nn2(standby)
&nbsp;&nbsp;&nbsp; flink-conf.yaml中的配置如下:
&nbsp;&nbsp;&nbsp; state.checkpoints.dir: hdfs://nn1的ip:8020/flink/flink-checkpoints/
&nbsp;&nbsp;&nbsp; 然后发布一个job,等checkpoint生成后,把 nn1 namenode 杀掉。
&nbsp;&nbsp;&nbsp; nn2会自动切换成active,nn1无法访问。
&nbsp;&nbsp;&nbsp; job就会不停的restart。
&nbsp;&nbsp; 日志显示 failed on connection exception: java.net.ConnectException: Connection refused; 无法连接 nn1。
&nbsp;&nbsp; 请问checkpoint关于hdfs的高可用是如何配置的,state.checkpoints.dir 应该怎么写。
&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;



签名由 网易邮箱大师 定制