Hi:
遇到的问题如下:
1.flink版本1.10.1,消费kafka数据后进行业务逻辑计算,并将结果sink到mysql,本地window开发环境可以正常消费kafka和sink结果到mysql,打包提交到集群,以Yarn的Per-job模式跑任务,无法写入结果到mysql
2.还是以上的环境,sql-client下提交任务,手动开启kafka生产者往对应主题写入数据,可以消费kafka数据,正常断开kafka生产者客户端后再重新开启,flink程序可以正常消费kafka数据;若kafka生产者客户端因某些异常超时断开连接,再次重启kafka生产者,flink程序不会去消费kafka生产者中的新的数据
多谢大家了
| |
赵子仪
|
|
[hidden email]
|
签名由网易邮箱大师定制