分享

sqoop2系统入门之7之开发指南篇:编译Sqoop2源码

sehriff 2017-9-6 00:23:57 发表于 连载型 [显示全部楼层] 回帖奖励 阅读模式 关闭右栏 1 11492
问题导读

1.maven有哪些常用命令?
2.如何编译可执行的二进制包?



上一篇:sqoop2系统入门之6之开发指南篇:Sqoop Java 客户端API指南
http://www.aboutyun.com/forum.php?mod=viewthread&tid=22619

该指南教你如何编译Sqoop2源码。Sqoop使用maven构建项目。Maven版本至少要3.0以上,因为旧版本会出问题。所有的依赖都会被maven自动下载。如果有报特定的JDBC驱动的异常是因为只有进阶的集成测试才会用到该驱动。

1.下载源码
Sqoop项目使用git作为版本控制系统寄存在Apache软件基金会。你可以使用以下命令克隆整个库
[mw_shl_code=applescript,true]git clone https://git-wip-us.apache.org/repos/asf/sqoop.git sqoop2[/mw_shl_code]
Sqoop2目前在sqoop2 的分支下开发,需要在克隆后检出:
[mw_shl_code=applescript,true]cd sqoop2
git checkout sqoop2[/mw_shl_code]

2.构建项目
可以使用maven目标命令参数例如 compile 或package来构建项目。Sqoop 目前支持一个主要Hadoop版本- 2.x。由于根据一个Hadoop主要版本编译的代码无法适用于别的版本,所以在编译时需要指定合适的Hadoop版本
[mw_shl_code=applescript,true]mvn compile[/mw_shl_code]
Maven 目标命令参数package 可以构建类似直接从官方网站下载的包。Sqoop默认只会构建一个tar包。如果需要构建二进制版本,使用以下命令:
[mw_shl_code=applescript,true]mvn package -Pbinary[/mw_shl_code]

3. 运行测试
Sqoop 支持两种不同的测试集。第一种更小但快得多,叫做单元测试(unit tests)并可以通过maven目标命令参数test执行。第二张更大的集成测试(integration tests)可以用maven目标命令参数integration-test执行。需要注意的是集成测试可能需要在本地maven缓存手工安装各种JDBC驱动
单元测试例子:
[mw_shl_code=applescript,true]mvn test[/mw_shl_code]
集成测试例子:
[mw_shl_code=applescript,true]mvn integration-test[/mw_shl_code]
至于单元测试,有两种maven profile设置:快(fast) 和慢(slow)。快的单元测试不会启动或使用任何服务。慢的单元测试可能会启动服务或使用外部服务(例如MYSQL)
[mw_shl_code=applescript,true]mvn test -Pfast,hadoop200
mvn test -Pslow,hadoop200[/mw_shl_code]




相关篇章


sqoop2系统入门之1:用户指南5分钟入门Demo
http://www.aboutyun.com/forum.php?mod=viewthread&tid=22549


sqoop2系统入门之2汇总:用户指南shell命令【可收藏备查】
http://www.aboutyun.com/forum.php?mod=viewthread&tid=22602



sqoop2系统入门之3:用户指南通用JDBC连接器
http://www.aboutyun.com/forum.php?mod=viewthread&tid=22563


sqoop2系统入门之4:用户指南HDFS 连接器
http://www.aboutyun.com/forum.php?mod=viewthread&tid=22564


sqoop2系统入门之5:用户指南Kafka 连接器
http://www.aboutyun.com/forum.php?mod=viewthread&tid=22565


sqoop2系统入门之6之开发指南篇:Sqoop Java 客户端API指南
http://www.aboutyun.com/forum.php?mod=viewthread&tid=22619


sqoop2系统入门之7之开发指南篇:编译Sqoop2源码
http://www.aboutyun.com/forum.php?mod=viewthread&tid=22647


sqoop2系统入门之8之开发指南篇:Sqoop 2开发环境配置
http://www.aboutyun.com/forum.php?mod=viewthread&tid=22659


sqoop2系统入门之9之管理员指南篇:Spoop Tool使用介绍
http://www.aboutyun.com/forum.php?mod=viewthread&tid=22698


sqoop2系统入门之10之管理员指南篇:Spoop2升级
http://www.aboutyun.com/forum.php?mod=viewthread&tid=22705


sqoop2系统入门之11之管理员指南篇:Sqoop安装
http://www.aboutyun.com/forum.php?mod=viewthread&tid=22709




本帖被以下淘专辑推荐:

已有(1)人评论

跳转到指定楼层
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

推荐上一条 /2 下一条