sqoop2系统入门之7之开发指南篇:编译Sqoop2源码
问题导读1.maven有哪些常用命令?
2.如何编译可执行的二进制包?
static/image/hrline/4.gif
上一篇:sqoop2系统入门之6之开发指南篇:Sqoop Java 客户端API指南
http://www.aboutyun.com/forum.php?mod=viewthread&tid=22619
该指南教你如何编译Sqoop2源码。Sqoop使用maven构建项目。Maven版本至少要3.0以上,因为旧版本会出问题。所有的依赖都会被maven自动下载。如果有报特定的JDBC驱动的异常是因为只有进阶的集成测试才会用到该驱动。
1.下载源码
Sqoop项目使用git作为版本控制系统寄存在Apache软件基金会。你可以使用以下命令克隆整个库
git clone https://git-wip-us.apache.org/repos/asf/sqoop.git sqoop2
Sqoop2目前在sqoop2 的分支下开发,需要在克隆后检出:
cd sqoop2
git checkout sqoop2
2.构建项目
可以使用maven目标命令参数例如 compile 或package来构建项目。Sqoop 目前支持一个主要Hadoop版本- 2.x。由于根据一个Hadoop主要版本编译的代码无法适用于别的版本,所以在编译时需要指定合适的Hadoop版本
mvn compile
Maven 目标命令参数package 可以构建类似直接从官方网站下载的包。Sqoop默认只会构建一个tar包。如果需要构建二进制版本,使用以下命令:
mvn package -Pbinary
3. 运行测试
Sqoop 支持两种不同的测试集。第一种更小但快得多,叫做单元测试(unit tests)并可以通过maven目标命令参数test执行。第二张更大的集成测试(integration tests)可以用maven目标命令参数integration-test执行。需要注意的是集成测试可能需要在本地maven缓存手工安装各种JDBC驱动
单元测试例子:
mvn test
集成测试例子:
mvn integration-test
至于单元测试,有两种maven profile设置:快(fast) 和慢(slow)。快的单元测试不会启动或使用任何服务。慢的单元测试可能会启动服务或使用外部服务(例如MYSQL)
mvn test -Pfast,hadoop200
mvn test -Pslow,hadoop200
相关篇章
sqoop2系统入门之1:用户指南5分钟入门Demo
http://www.aboutyun.com/forum.php?mod=viewthread&tid=22549
sqoop2系统入门之2汇总:用户指南shell命令【可收藏备查】
http://www.aboutyun.com/forum.php?mod=viewthread&tid=22602
sqoop2系统入门之3:用户指南通用JDBC连接器
http://www.aboutyun.com/forum.php?mod=viewthread&tid=22563
sqoop2系统入门之4:用户指南HDFS 连接器
http://www.aboutyun.com/forum.php?mod=viewthread&tid=22564
sqoop2系统入门之5:用户指南Kafka 连接器
http://www.aboutyun.com/forum.php?mod=viewthread&tid=22565
sqoop2系统入门之6之开发指南篇:Sqoop Java 客户端API指南
http://www.aboutyun.com/forum.php?mod=viewthread&tid=22619
sqoop2系统入门之7之开发指南篇:编译Sqoop2源码
http://www.aboutyun.com/forum.php?mod=viewthread&tid=22647
sqoop2系统入门之8之开发指南篇:Sqoop 2开发环境配置
http://www.aboutyun.com/forum.php?mod=viewthread&tid=22659
sqoop2系统入门之9之管理员指南篇:Spoop Tool使用介绍
http://www.aboutyun.com/forum.php?mod=viewthread&tid=22698
sqoop2系统入门之10之管理员指南篇:Spoop2升级
http://www.aboutyun.com/forum.php?mod=viewthread&tid=22705
sqoop2系统入门之11之管理员指南篇:Sqoop安装
http://www.aboutyun.com/forum.php?mod=viewthread&tid=22709
感谢分享
页:
[1]