Flink1.8+Hadoop3.1.2 编译问题

classic Classic list List threaded Threaded
4 messages Options
Reply | Threaded
Open this post in threaded view
|

Flink1.8+Hadoop3.1.2 编译问题

CHENJIE
1.软件版本
Flink 1.8
Hadoop 3.1.2
Apache Maven 3.0.5

2.操作方式
>git clone -b release-1.8.0 https://github.com/apache/flink
>cd flink
>mvn clean install -DskipTests -Dhadoop.version=3.1.2

3.问题
编译成功之后 .flink/build-target/lib 目录只有三个文件(↓)
正常的Flink1.7.2的编译结果(↓)
有没有遇到过此问题的??




 

Reply | Threaded
Open this post in threaded view
|

Re:Flink1.8+Hadoop3.1.2 编译问题

CHENJIE
修正图片内容



在 2019-06-28 15:26:57,"USERNAME" <[hidden email]> 写道:

1.软件版本
Flink 1.8
Hadoop 3.1.2
Apache Maven 3.0.5


2.操作方式
>git clone -b release-1.8.0 https://github.com/apache/flink
>cd flink
>mvn clean install -DskipTests -Dhadoop.version=3.1.2


3.问题
编译成功之后 .flink/build-target/lib 目录只有三个文件(↓)
-rw-r--r-- 1 flink flink 96049496 Jun 28 15:17 flink-dist_2.11-1.8.0.jar
-rw-rw-r-- 1 flink flink   489884 Jun 19 13:35 log4j-1.2.17.jar
-rw-rw-r-- 1 flink flink     9931 Jun 19 13:35 slf4j-log4j12-1.7.15.jar


正常的Flink1.7.2的编译结果(↓)
-rw-r--r-- 1 flink flink 93445603 Mar 27 22:46 flink-dist_2.11-1.7.2.jar
-rw-r--r-- 1 flink flink   141881 Mar 27 22:44 flink-python_2.11-1.7.2.jar
-rw-r--r-- 1 flink flink 53380671 Mar 27 22:19 flink-shaded-hadoop2-uber-1.7.2.jar
-rw-rw-r-- 1 flink flink   489884 Mar 27 22:16 log4j-1.2.17.jar
-rw-rw-r-- 1 flink flink     9931 Mar 27 22:16 slf4j-log4j12-1.7.15.jar


有没有遇到过此问题的??








 
Reply | Threaded
Open this post in threaded view
|

Re: Re:Flink1.8+Hadoop3.1.2 编译问题

Yun Tang
你好

因为从Flink-1.8 开始,flink的默认编译选项里面就不再带上hadoop依赖了。可以参考[1] 了解更多信息。实际上从官方的下载链接[2]里面也说明了从Flink-1.8开始shaded-hadoop的相关jar包需要单独下载并放置在lib目录下。

如果需要shaded-hadoop jar包,可以单独去编译好的 flink-shaded-hadoop 子项目目录下找到相关的jar包。

[1] https://issues.apache.org/jira/browse/FLINK-11266
[2] https://flink.apache.org/downloads.html

祝好
唐云


________________________________
From: USERNAME <[hidden email]>
Sent: Friday, June 28, 2019 15:41
To: [hidden email]
Subject: Re:Flink1.8+Hadoop3.1.2 编译问题

修正图片内容



在 2019-06-28 15:26:57,"USERNAME" <[hidden email]> 写道:

1.软件版本
Flink 1.8
Hadoop 3.1.2
Apache Maven 3.0.5


2.操作方式
>git clone -b release-1.8.0 https://github.com/apache/flink
>cd flink
>mvn clean install -DskipTests -Dhadoop.version=3.1.2


3.问题
编译成功之后 .flink/build-target/lib 目录只有三个文件(↓)
-rw-r--r-- 1 flink flink 96049496 Jun 28 15:17 flink-dist_2.11-1.8.0.jar
-rw-rw-r-- 1 flink flink   489884 Jun 19 13:35 log4j-1.2.17.jar
-rw-rw-r-- 1 flink flink     9931 Jun 19 13:35 slf4j-log4j12-1.7.15.jar


正常的Flink1.7.2的编译结果(↓)
-rw-r--r-- 1 flink flink 93445603 Mar 27 22:46 flink-dist_2.11-1.7.2.jar
-rw-r--r-- 1 flink flink   141881 Mar 27 22:44 flink-python_2.11-1.7.2.jar
-rw-r--r-- 1 flink flink 53380671 Mar 27 22:19 flink-shaded-hadoop2-uber-1.7.2.jar
-rw-rw-r-- 1 flink flink   489884 Mar 27 22:16 log4j-1.2.17.jar
-rw-rw-r-- 1 flink flink     9931 Mar 27 22:16 slf4j-log4j12-1.7.15.jar


有没有遇到过此问题的??









Reply | Threaded
Open this post in threaded view
|

Re:Re: Re:Flink1.8+Hadoop3.1.2 编译问题

CHENJIE
您好,


非常感谢 唐老师 您的回复,问题已解决。谢谢!



在 2019-06-28 15:59:48,"Yun Tang" <[hidden email]> 写道:

>你好
>
>因为从Flink-1.8 开始,flink的默认编译选项里面就不再带上hadoop依赖了。可以参考[1] 了解更多信息。实际上从官方的下载链接[2]里面也说明了从Flink-1.8开始shaded-hadoop的相关jar包需要单独下载并放置在lib目录下。
>
>如果需要shaded-hadoop jar包,可以单独去编译好的 flink-shaded-hadoop 子项目目录下找到相关的jar包。
>
>[1] https://issues.apache.org/jira/browse/FLINK-11266
>[2] https://flink.apache.org/downloads.html
>
>祝好
>唐云
>
>
>________________________________
>From: USERNAME <[hidden email]>
>Sent: Friday, June 28, 2019 15:41
>To: [hidden email]
>Subject: Re:Flink1.8+Hadoop3.1.2 编译问题
>
>修正图片内容
>
>
>
>在 2019-06-28 15:26:57,"USERNAME" <[hidden email]> 写道:
>
>1.软件版本
>Flink 1.8
>Hadoop 3.1.2
>Apache Maven 3.0.5
>
>
>2.操作方式
>>git clone -b release-1.8.0 https://github.com/apache/flink
>>cd flink
>>mvn clean install -DskipTests -Dhadoop.version=3.1.2
>
>
>3.问题
>编译成功之后 .flink/build-target/lib 目录只有三个文件(↓)
>-rw-r--r-- 1 flink flink 96049496 Jun 28 15:17 flink-dist_2.11-1.8.0.jar
>-rw-rw-r-- 1 flink flink   489884 Jun 19 13:35 log4j-1.2.17.jar
>-rw-rw-r-- 1 flink flink     9931 Jun 19 13:35 slf4j-log4j12-1.7.15.jar
>
>
>正常的Flink1.7.2的编译结果(↓)
>-rw-r--r-- 1 flink flink 93445603 Mar 27 22:46 flink-dist_2.11-1.7.2.jar
>-rw-r--r-- 1 flink flink   141881 Mar 27 22:44 flink-python_2.11-1.7.2.jar
>-rw-r--r-- 1 flink flink 53380671 Mar 27 22:19 flink-shaded-hadoop2-uber-1.7.2.jar
>-rw-rw-r-- 1 flink flink   489884 Mar 27 22:16 log4j-1.2.17.jar
>-rw-rw-r-- 1 flink flink     9931 Mar 27 22:16 slf4j-log4j12-1.7.15.jar
>
>
>有没有遇到过此问题的??
>
>
>
>
>
>
>
>
>