flink跨集群kerberos认证问题

[storm2☀️]

各位好，
    flink集群跨集群无法通过kerberos认证。
    集群1：flink集群，无kerberos认证
    集群2：hadoop2.6.0集群，有kerberos认证
    集群1数据到集群2hdfs，用的是bucketingsink，无法通过kerberos认证。按照官方文档的配置，如果是在一个集群是能通过验证的。
现在没有什么思路，希望有经验的朋友提点下，不胜感激。

[Leslie Yuen]

遇到过同样的问题，最后的解决办法就是直接在应用的集群中配置好flink-conf.yaml文件，代码中不需要额外加入认证代码就可以了。我测试通过的是消费写入带kerberos认证的Kafka

> 在 2019年12月18日，23:05，李现 <[hidden email]> 写道：
>
> 各位好，
>    flink集群跨集群无法通过kerberos认证。
>    集群1：flink集群，无kerberos认证
>    集群2：hadoop2.6.0集群，有kerberos认证
>    集群1数据到集群2hdfs，用的是bucketingsink，无法通过kerberos认证。按照官方文档的配置，如果是在一个集群是能通过验证的。
> 现在没有什么思路，希望有经验的朋友提点下，不胜感激。

[storm2☀️]

这个方法我试过，如果是在应用集群的flink配置好conf文件，flinkjob初始化以及checkpoint存储需要和本地的hdfs交互，这样也是会遇到问题。就是client是security，server（本地hdfs）是simple，这样也是会抛异常。

Leslie Yuen <[hidden email]>于2019年12月19日 周四08:35写道：

>
> 遇到过同样的问题，最后的解决办法就是直接在应用的集群中配置好flink-conf.yaml文件，代码中不需要额外加入认证代码就可以了。我测试通过的是消费写入带kerberos认证的Kafka
>
> > 在 2019年12月18日，23:05，李现 <[hidden email]> 写道：
> >
> > 各位好，
> >    flink集群跨集群无法通过kerberos认证。
> >    集群1：flink集群，无kerberos认证
> >    集群2：hadoop2.6.0集群，有kerberos认证
> >
> 集群1数据到集群2hdfs，用的是bucketingsink，无法通过kerberos认证。按照官方文档的配置，如果是在一个集群是能通过验证的。
> > 现在没有什么思路，希望有经验的朋友提点下，不胜感激。
>

[storm2☀️]

是配置了：keytab和principal两个配置吗

Leslie Yuen <[hidden email]>于2019年12月19日 周四08:35写道：

>
> 遇到过同样的问题，最后的解决办法就是直接在应用的集群中配置好flink-conf.yaml文件，代码中不需要额外加入认证代码就可以了。我测试通过的是消费写入带kerberos认证的Kafka
>
> > 在 2019年12月18日，23:05，李现 <[hidden email]> 写道：
> >
> > 各位好，
> >    flink集群跨集群无法通过kerberos认证。
> >    集群1：flink集群，无kerberos认证
> >    集群2：hadoop2.6.0集群，有kerberos认证
> >
> 集群1数据到集群2hdfs，用的是bucketingsink，无法通过kerberos认证。按照官方文档的配置，如果是在一个集群是能通过验证的。
> > 现在没有什么思路，希望有经验的朋友提点下，不胜感激。
>