搜索
搜 索
本版
文章
帖子
用户
图文精华
hadoop-2.6.0+zookeeper-3.4.6+hbase-1.0.0+hive-1.1.0完全分布 ...
首页
Portal
专题
BBS
面试
更多
登录
注册
用户组:游客
主题
帖子
云币
我的帖子
我的收藏
我的好友
我的勋章
设置
退出
导读
淘贴
博客
群组
社区VIP
APP下载
今日排行
本周排行
本周热帖
本月排行
本月热帖
会员排行
About云-梭伦科技
»
专题
›
交流区
›
技术交流
›
Sqoop
›
sqoop同步oracle数据到hbase效率低
0
2
1
分享
sqoop同步oracle数据到hbase效率低
lihy114
发表于 2015-7-31 18:06:06
[显示全部楼层]
阅读模式
关闭右栏
2
28164
使用sqoop同步oracle数据到hbase,没有做什么优化,执行下面的语句
./sqoop import --connect jdbc:oracle:thin:@192.168.3.236:1521:sx --username top --password top --m 1 --table tab_a --hbase-create-table --hbase-table tab_a_FROMORACLE --hbase-row-key ID --column-family IDINFO
70多万的数据,需要5分钟才能完成
设置并行度,语句如下
./sqoop import --connect jdbc:oracle:thin:@192.168.3.236:1521:sx --username top --password top --m 10 --table tab_a --hbase-create-table --hbase-table tab_a_FROMORACLE --hbase-row-key ID --column-family IDINFO
这样我观察了一下,另外9个map并没有起到作用,很快就执行完成了,等着另外一个map执行,时间上和原来差别 不大
应该如果优化同步的速度呢?多谢
oracle
回复
使用道具
举报
提升卡
置顶卡
沉默卡
喧嚣卡
变色卡
千斤顶
显身卡
相关帖子
.
cdh 5.3的sqoop 1 只能提交本地job是咋了
.
eclipse使用hbase出错...被折磨两天了...
.
从oracle导出blob数据到hbase中的问题
.
sqoop同步oracle数据表效率问题
.
sqoop将oracle数据表导入hive中文乱码问题
.
字符集转换问题
.
redis应用之本机搭建redis集群具体实现
.
重装新版本的JDK后could not open `C:\Program Files\Java\jre6\lib\i386\jvm.cfg
.
CDH5.4.3中sqoop命令的日志保存在哪
已有(2)人评论
电梯直达
正序浏览
NEOGX
发表于 2015-7-31 18:12:20
楼主内存多大。线程多,内存不够也是一个现在因素。
回复
使用道具
举报
显身卡
jsjupc_geyf
发表于 2015-7-31 22:02:40
好贴,必顶,加油加油!!!!
回复
使用道具
举报
显身卡
高级模式
B
Color
Image
Link
Quote
Code
Smilies
您需要登录后才可以回帖
登录
|
立即注册
本版积分规则
发表回复
回帖后跳转到最后一页
浏览过的版块
HDFS
发表新帖
lihy114
中级会员
关注
13
主题
59
帖子
4
粉丝
TA的主题
spark集群Java生成libsvm模型的效率问题
2016-6-8
谁在spark下调用过中科院的ICTCLAS50分词器
2016-6-7
spark集群环境运行报错
2016-6-1
kafka 生产者如何持续读取数据
2016-4-5
storm连接oracle数据库失败
2016-3-28
24小时热文
Spark机器学习
Spark机器学习算法、源码及实战详解
《深度实践Spark机器学习(吴茂贵)》高清
《Spark机器学习第2版》高清中文PDF
像高手一样发言:七种常见工作场景的说话之
关闭
推荐
/2
中文版ChatGPT
1.无需魔法 2.提高编程效率 3.提高文档能力
查看 »
新手帮助
新手帮助:注册遇到问题,领取资源,加入铁粉群,不会使用搜索,如何获取积分等
查看 »
意见
反馈