搜索
搜 索
本版
文章
帖子
用户
图文精华
hadoop-2.6.0+zookeeper-3.4.6+hbase-1.0.0+hive-1.1.0完全分布 ...
首页
Portal
专题
BBS
面试
办公|编程助手
更多
登录
注册
用户组:游客
主题
帖子
云币
我的帖子
我的收藏
我的好友
我的勋章
设置
退出
导读
淘贴
博客
群组
社区VIP
APP下载
今日排行
本周排行
本周热帖
本月排行
本月热帖
会员排行
About云-梭伦科技
»
专题
›
技术学习(版主发帖区)
›
大数据学习
›
Sqoop
›
连载型
›
sqoop2系统入门之7之开发指南篇:编译Sqoop2源码
1
1
2
分享
sqoop2系统入门之7之开发指南篇:编译Sqoop2源码
sehriff
2017-9-6 00:23:57
发表于
连载型
[显示全部楼层]
阅读模式
关闭右栏
1
11491
About云VIP帮助找工作和提升
问题导读
1.maven有哪些常用命令?
2.如何编译可执行的二进制包?
上一篇:sqoop2系统入门之6之开发指南篇:Sqoop Java 客户端API指南
http://www.aboutyun.com/forum.php?mod=viewthread&tid=22619
该指南教你如何编译Sqoop2源码。Sqoop使用maven构建项目。Maven版本至少要3.0以上,因为旧版本会出问题。所有的依赖都会被maven自动下载。如果有报特定的JDBC驱动的异常是因为只有进阶的集成测试才会用到该驱动。
1.下载源码
Sqoop项目使用git作为版本控制系统寄存在Apache软件基金会。你可以使用以下命令克隆整个库
[mw_shl_code=applescript,true]git clone
https://git-wip-us.apache.org/repos/asf/sqoop.git
sqoop2[/mw_shl_code]
Sqoop2目前在sqoop2 的分支下开发,需要在克隆后检出:
[mw_shl_code=applescript,true]cd sqoop2
git checkout sqoop2[/mw_shl_code]
2.构建项目
可以使用maven目标命令参数例如 compile 或package来构建项目。Sqoop 目前支持一个主要Hadoop版本- 2.x。由于根据一个Hadoop主要版本编译的代码无法适用于别的版本,所以在编译时需要指定合适的Hadoop版本
[mw_shl_code=applescript,true]mvn compile[/mw_shl_code]
Maven 目标命令参数package 可以构建类似直接从官方网站下载的包。Sqoop默认只会构建一个tar包。如果需要构建二进制版本,使用以下命令:
[mw_shl_code=applescript,true]mvn package -Pbinary[/mw_shl_code]
3. 运行测试
Sqoop 支持两种不同的测试集。第一种更小但快得多,叫做单元测试
(unit tests)
并可以通过maven目标命令参数test执行。第二张更大的集成测试
(integration tests)
可以用maven目标命令参数integration-test执行。需要注意的是集成测试可能需要在本地maven缓存手工安装各种JDBC驱动
单元测试例子:
[mw_shl_code=applescript,true]mvn test[/mw_shl_code]
集成测试例子:
[mw_shl_code=applescript,true]mvn integration-test[/mw_shl_code]
至于单元测试,有两种maven profile设置:快
(fast)
和慢
(slow)
。快的单元测试不会启动或使用任何服务。慢的单元测试可能会启动服务或使用外部服务(例如MYSQL)
[mw_shl_code=applescript,true]mvn test -Pfast,hadoop200
mvn test -Pslow,hadoop200[/mw_shl_code]
相关篇章
sqoop2系统入门之1:用户指南5分钟入门Demo
http://www.aboutyun.com/forum.php?mod=viewthread&tid=22549
sqoop2系统入门之2汇总:用户指南shell命令【可收藏备查】
http://www.aboutyun.com/forum.php?mod=viewthread&tid=22602
sqoop2系统入门之3:用户指南通用JDBC连接器
http://www.aboutyun.com/forum.php?mod=viewthread&tid=22563
sqoop2系统入门之4:用户指南HDFS 连接器
http://www.aboutyun.com/forum.php?mod=viewthread&tid=22564
sqoop2系统入门之5:用户指南Kafka 连接器
http://www.aboutyun.com/forum.php?mod=viewthread&tid=22565
sqoop2系统入门之6之开发指南篇:Sqoop Java 客户端API指南
http://www.aboutyun.com/forum.php?mod=viewthread&tid=22619
sqoop2系统入门之7之开发指南篇:编译Sqoop2源码
http://www.aboutyun.com/forum.php?mod=viewthread&tid=22647
sqoop2系统入门之8之开发指南篇:Sqoop 2开发环境配置
http://www.aboutyun.com/forum.php?mod=viewthread&tid=22659
sqoop2系统入门之9之管理员指南篇:Spoop Tool使用介绍
http://www.aboutyun.com/forum.php?mod=viewthread&tid=22698
sqoop2系统入门之10之管理员指南篇:Spoop2升级
http://www.aboutyun.com/forum.php?mod=viewthread&tid=22705
sqoop2系统入门之11之管理员指南篇:Sqoop安装
http://www.aboutyun.com/forum.php?mod=viewthread&tid=22709
本帖被以下淘专辑推荐:
·
大数据
|
主题: 906, 订阅: 9
·
sqoop2系统入门
|
主题: 12, 订阅: 1
回复
使用道具
举报
提升卡
置顶卡
沉默卡
喧嚣卡
变色卡
千斤顶
显身卡
已有(1)人评论
电梯直达
正序浏览
美丽天空
发表于 2017-9-7 09:12:10
感谢分享
回复
使用道具
举报
显身卡
还有一些帖子被系统自动隐藏,点此展开
高级模式
B
Color
Image
Link
Quote
Code
Smilies
您需要登录后才可以回帖
登录
|
立即注册
本版积分规则
发表回复
回帖后跳转到最后一页
发表新帖
sehriff
中级会员
关注
13
主题
97
帖子
9
粉丝
TA的主题
spark官网机器学习翻译1:数据类型-基于RDD的API
2017-10-24
在PySpark中定制机器学习算法
2017-10-3
Apache Spark 2.2中基于成本的优化器(CBO)
2017-9-27
马士兵大数据_架构师
2017-9-20
IntelliJ IDEA Scala 插件2017.2版升级说明
2017-9-16
24小时热文
Flink CDC:新一代实时数据集成框架
蚂蚁面试就是不一样
如何高效学习
人情世故速查速用大全集
框架思维
关闭
推荐
/2
中文版ChatGPT
1.无需魔法 2.提高编程效率 3.提高文档能力
查看 »
新手帮助
新手帮助:注册遇到问题,领取资源,加入铁粉群,不会使用搜索,如何获取积分等
查看 »
意见
反馈