flink1.9.1 on yarn sql 部署问题

[hb]

hello:


环境:  flink1.9.1, on yarn hadoop2.6
flink只安装在了一台提交的机器上,


lib目录下有文件:
 flink-dist_2.11-1.9.1.jar
 flink-json-1.9.0-sql-jar.jar
 flink-shaded-hadoop-2-uber-2.6.5-7.0.jar
 flink-sql-connector-kafka_2.11-1.9.0.jar
 flink-table_2.11-1.9.1.jar
 flink-table-blink_2.11-1.9.1.jar
log4j-1.2.17.jar
slf4j-log4j12-1.7.15.jar


//////////////
 flink-shaded-hadoop-2-uber-2.6.5-7.0.jar  ,
 flink-sql-connector-kafka_2.11-1.9.0.jar
 flink-json-1.9.0-sql-jar.jar
这3个包是安装后,拷贝进去的


问题1:on yarn模式,我是否需要在每台机器上都安装flink软件目录,还是只需要在提交机器上有flink软件目录就行了?


问题2: 我需要用到blink-planner 连接外部kafka(1.1版本,json格式) 来生成sql表,是否
需要在lib目录下添加
 flink-sql-connector-kafka_2.11-1.9.0.jar
 flink-json-1.9.0-sql-jar.jar
还是 在pom文件中 指定依赖,打成fat包
        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-connector-kafka_2.11</artifactId>
            <version>${flink.version}</version>                      
        </dependency>
<dependency>
    <groupId>org.apache.flink</groupId>
    <artifactId>flink-json</artifactId>
    <version>${flink.version}</version>
</dependency>
问题3: flink run  on yarn , 会额外附加lib目录下的jar包到用户jar下,再提交到yarn上运行么

[Dian Fu]

问题1: 只需要在提交作业的机器上有flink即可
问题2: 两种方式都可以
问题3: 是的。lib目录下的jar和用户的jar会一起提交到YARN

> 在 2019年10月30日，上午10:30，hb <[hidden email]> 写道：
>
> hello:
>
>
> 环境:  flink1.9.1, on yarn hadoop2.6
> flink只安装在了一台提交的机器上,
>
>
> lib目录下有文件:
> flink-dist_2.11-1.9.1.jar
> flink-json-1.9.0-sql-jar.jar
> flink-shaded-hadoop-2-uber-2.6.5-7.0.jar
> flink-sql-connector-kafka_2.11-1.9.0.jar
> flink-table_2.11-1.9.1.jar
> flink-table-blink_2.11-1.9.1.jar
> log4j-1.2.17.jar
> slf4j-log4j12-1.7.15.jar
>
>
> //////////////
> flink-shaded-hadoop-2-uber-2.6.5-7.0.jar  ,
> flink-sql-connector-kafka_2.11-1.9.0.jar
> flink-json-1.9.0-sql-jar.jar
> 这3个包是安装后,拷贝进去的
>
>
> 问题1:on yarn模式,我是否需要在每台机器上都安装flink软件目录,还是只需要在提交机器上有flink软件目录就行了?
>
>
> 问题2: 我需要用到blink-planner 连接外部kafka(1.1版本,json格式) 来生成sql表,是否
> 需要在lib目录下添加
> flink-sql-connector-kafka_2.11-1.9.0.jar
> flink-json-1.9.0-sql-jar.jar
> 还是 在pom文件中 指定依赖,打成fat包
>        <dependency>
>            <groupId>org.apache.flink</groupId>
>            <artifactId>flink-connector-kafka_2.11</artifactId>
>            <version>${flink.version}</version>                      
>        </dependency>
> <dependency>
>    <groupId>org.apache.flink</groupId>
>    <artifactId>flink-json</artifactId>
>    <version>${flink.version}</version>
> </dependency>
> 问题3: flink run  on yarn , 会额外附加lib目录下的jar包到用户jar下,再提交到yarn上运行么
>
>
>
>
>