咨询求助

classic Classic list List threaded Threaded
4 messages Options
Reply | Threaded
Open this post in threaded view
|

咨询求助

瞿叶奇
您好,我是国网陕西采集系统开发人员,我们在架构改造中,准备使用pyflink 解决实时Kafka数据写HDFS的问题,我的Kafka集群存在kerberos安全认证,导致我现在还没连接上,能不能给一个样例呢?
Reply | Threaded
Open this post in threaded view
|

Re: 咨询求助

Shengkai Fang
hi,

根据文档[1][2], 你可以通过在with参数内填相应的内容来通过认证, e.g

'properties.sasl.kerberos.service.name' = 'xyz'

[1]
https://kafka.apache.org/documentation/#brokerconfigs_sasl.kerberos.service.name
[2]
https://ci.apache.org/projects/flink/flink-docs-master/dev/table/connectors/kafka.html#properties

瞿叶奇 <[hidden email]> 于2021年1月31日周日 下午2:26写道:

> 您好,我是国网陕西采集系统开发人员,我们在架构改造中,准备使用pyflink
> 解决实时Kafka数据写HDFS的问题,我的Kafka集群存在kerberos安全认证,导致我现在还没连接上,能不能给一个样例呢?
Reply | Threaded
Open this post in threaded view
|

Re:咨询求助

Appleyuchi
In reply to this post by 瞿叶奇
一点小小的建议哈,
目前flink社区讨论主要还是java/scala为主,
如果执意使用pyflink的话,后续极有可能会遇到较大的阻力.








在 2021-01-31 14:26:55,"瞿叶奇" <[hidden email]> 写道:
>您好,我是国网陕西采集系统开发人员,我们在架构改造中,准备使用pyflink 解决实时Kafka数据写HDFS的问题,我的Kafka集群存在kerberos安全认证,导致我现在还没连接上,能不能给一个样例呢?
Reply | Threaded
Open this post in threaded view
|

Re: 咨询求助

Leonard Xu


> 在 2021年1月31日,20:15,Appleyuchi <[hidden email]> 写道:
>
> 一点小小的建议哈,
> 目前flink社区讨论主要还是java/scala为主,
> 如果执意使用pyflink的话,后续极有可能会遇到较大的阻力.

我理解这种较大阻力应该不存在的,社区里pyflink的投入还挺大的,蛮多开发者的,我也cc两位在这块做贡献的社区开发者,从JIRA上看pyflink相关的开发进度都挺快的。
如果有机器学习,python相关的经验,用pyflink我觉得挺合适的。

祝好,
Leonard