分享

sqoop同步oracle数据表效率问题

LucKyCN 发表于 2015-10-23 17:02:43 [显示全部楼层] 回帖奖励 阅读模式 关闭右栏 1 17449
想问一下,在用sqoop增量导入oracle数据表时,在oracle表增量判断字段上有没有索引会影响sqoop的导入速度吗?

有什么方法能够提高一下sqoop的导入效率呢?

已有(1)人评论

跳转到指定楼层
Alkaloid0515 发表于 2015-10-23 18:03:21
楼主可以控制xiamia
Sqoop使用--split-by 列名,根据此分隔工作量
用-m参数控制Map tasks的数目

参考
Sqoop1.4.4将MySQL数据导入到HDFS中及问题总结
http://www.aboutyun.com/thread-15717-1-1.html



回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

推荐上一条 /2 下一条