flink实时写入hdfs parquest,hdfs做了ha该怎么处理

classic Classic list List threaded Threaded
2 messages Options
Reply | Threaded
Open this post in threaded view
|

flink实时写入hdfs parquest,hdfs做了ha该怎么处理

196371551
hI:
    我现在把kafka和es的数据实时读取写入hdfs目录下,但是我的hdfs做了ha,NameNode会切换,我在flink作业中配置的hdfs目录是hdfs://xx:8020/xxxx,切换了NameNode,任务就会报错
Reply | Threaded
Open this post in threaded view
|

回复:flink实时写入hdfs parquest,hdfs做了ha该怎么处理

蒋佳成(Jiacheng Jiang)
不写具体地址按fs.defaultFS中的来



------------------ 原始邮件 ------------------
发件人: "196371551"<[hidden email]&gt;;
发送时间: 2020年4月30日(星期四) 上午8:50
收件人: "user"<[hidden email]&gt;; "user-zh"<[hidden email]&gt;;
主题: flink实时写入hdfs parquest,hdfs做了ha该怎么处理



hI:
&nbsp;&amp;nbsp;&amp;nbsp; 我现在把kafka和es的数据实时读取写入hdfs目录下,但是我的hdfs做了ha,NameNode会切换,我在flink作业中配置的hdfs目录是hdfs://xx:8020/xxxx,切换了NameNode,任务就会报错